1PUL

Description

1PUL (1st Place You Look, prononcé "one pull") est une application Web Flutter (prototype) qui inventorie les articles déplacés par les utilisateurs et dispose d'une interface permettant de rechercher dans l'inventaire. Dans un environnement où il y a beaucoup d'articles et de possibilités de stockage (comme une maison ou un bureau animés), il peut être difficile de : 1) trouver l'endroit où un article a été vu pour la dernière fois et 2) avoir tous les articles à l'esprit lorsque vous essayez de résoudre un problème ou de remplir une liste. 1PUL peut également être utilisé pour inventorier activement une collection d'articles.
Lorsque le code Flutter détecte un mouvement de la caméra en comparant les images, il appelle l'API Gemini avec un frame de caméra et une invite telle que "Si une personne tient un objet et que l'objet est clairement visible, décrivez-le". La description de l'objet de Gemini, ainsi que l'URL de l'image fixe, l'emplacement de la caméra et (facultatif) les commentaires audibles de la personne sont écrits dans une feuille de calcul Google. L'image fixe est importée dans un bucket GCS. L'appareil de capture exécutant 1PUL indique également brièvement qu'un article est en cours d'inventaire.
La recherche d'inventaire est une fonctionnalité qui envoie une requête utilisateur (par exemple, "Quel équipement de camping ai-je ?", "Où est ma clé à molette ?") à l'API Gemini, ainsi que les descriptions complètes de l'inventaire (merci pour la fenêtre contextuelle géante !), avec une invite comme "Mettez en correspondance cette requête utilisateur avec les descriptions d'articles les plus pertinentes". Des invites sont fournies pour obtenir une sortie structurée, que le code Dart met en correspondance avec les articles de l'inventaire à présenter à l'utilisateur.