1PUL

Descrizione

1PUL (1st Place You Look, pronunciato "one pull") è un'app web Flutter (prototipo) che inventaria gli articoli spostati dalle persone e dispone di un'interfaccia per cercare nell'inventario. In un ambiente con molti articoli e molte opzioni di archiviazione (ad esempio una casa o un ufficio molto frequentati), può essere difficile 1) risalire all'ultimo luogo in cui è stato visto un articolo e 2) tenere a mente tutti gli articoli quando si cerca di risolvere un problema o completare un elenco. 1PUL può essere utilizzato anche per inventariare attivamente una raccolta di articoli.
Quando il codice Flutter rileva il movimento della videocamera confrontando i frame, accede all'API Gemini con un frame della videocamera e un prompt come "se c'è una persona che tiene un oggetto e l'oggetto è chiaramente visibile, descrivilo". La descrizione dell'oggetto di Gemini, oltre all'URL dell'immagine fissa, alla posizione della videocamera e (facoltativamente) ai commenti udibili trascritti della persona, vengono scritti in un foglio Google. L'immagine fissa viene caricata in un bucket GCS. Il dispositivo di acquisizione che esegue 1PUL mostrerà anche brevemente che un articolo è in fase di inventario.
La ricerca di inventario è una funzionalità che invia un'utente query (ad es. "Quali attrezzature da campeggio ho", "Dov'è la mia chiave a brugola") all'API Gemini, insieme alle descrizioni complete dell'inventario (grazie per la finestra di contesto gigante!), con un prompt come "Associa questa query utente alle descrizioni degli articoli più pertinenti". Vengono visualizzati alcuni prompt per ottenere un'uscita strutturata, che il codice Dart mappa agli articoli di inventario da presentare all'utente.