1PUL

Qué hace

1PUL (1st Place You Look, que se pronuncia "one pull") es una app web (prototipo) de Flutter que inventa los elementos que mueven las personas y tiene una interfaz para buscar en el inventario. En un entorno con muchos elementos y muchas opciones de almacenamiento (como una casa o una oficina concurrido), puede ser difícil 1) hacer un seguimiento del último lugar en el que se vio un elemento y 2) tener todos los elementos en mente cuando se intenta resolver un problema o completar una lista. 1PUL también se puede usar para hacer un inventario activo de una colección de elementos.
Cuando el código de Flutter detecta movimiento de la cámara comparando fotogramas, llega a la API de Gemini con un fotograma de la cámara y una instrucción como "si hay una persona que sostiene un objeto y el objeto es claramente visible, describe el objeto". La descripción del objeto de Gemini, además de la URL de la imagen fija, la ubicación de la cámara y (de manera opcional) los comentarios audibles transcritos de la persona, se escriben en una hoja de cálculo de Google. La imagen fija se sube a un bucket de GCS. El dispositivo de captura que ejecuta 1PUL también mostrará brevemente que se está inventariando un elemento.
La búsqueda de inventario es una función que envía una consulta del usuario (p. ej., "¿Qué equipo de campamento tengo?", "¿Dónde está mi llave de trinquete?") a la API de Gemini, junto con las descripciones completas del inventario (gracias por la ventana de contexto gigante), con un mensaje como "Hacer coincidir esta búsqueda del usuario con las descripciones de los elementos más relevantes". Hay algunas indicaciones para obtener un resultado estructurado, que el código de Dart asigna a los elementos del inventario para presentarlos al usuario.