1PUL

Funktion

1PUL (1st Place You Look, ausgesprochen „one pull“) ist eine Flutter-Web-App (Prototyp), mit der von Menschen verschobene Gegenstände inventarisiert werden. Sie hat eine Benutzeroberfläche, über die das Inventar durchsucht werden kann. In einer Umgebung mit vielen Gegenständen und vielen Aufbewahrungsmöglichkeiten (z. B. in einem belebten Haushalt oder einem Büro) kann es schwierig sein, 1) den letzten Ort zu finden, an dem ein Gegenstand gesehen wurde, und 2) sich alle Gegenstände ins Gedächtnis zu rufen, wenn Sie versuchen, ein Problem zu lösen oder eine Liste abzuarbeiten. 1PUL kann auch verwendet werden, um eine Sammlung von Artikeln aktiv zu inventarisieren.
Wenn der Flutter-Code durch Vergleichen von Frames eine Bewegung von der Kamera erkennt, sendet er einen Kameraframe und einen Prompt wie „Beschreibe das Objekt, wenn eine Person ein Objekt hält und das Objekt gut sichtbar ist“ an die Gemini API. Die Objektbeschreibung von Gemini sowie die URL des Standbilds, der Kamerastandort und (optional) transkribierte hörbare Kommentare der Person werden in eine Google-Tabelle geschrieben. Das Standbild wird in einen GCS-Bucket hochgeladen. Auf dem Erfassungsgerät, auf dem 1PUL ausgeführt wird, wird auch kurz angezeigt, dass ein Artikel inventarisiert wird.
Die Inventarsuche ist eine Funktion, mit der eine Nutzeranfrage (z. B. „Welche Campingausrüstung habe ich?“ oder „Wo ist mein Schraubenschlüssel?“) zusammen mit den vollständigen Inventarbeschreibungen (danke für das riesige Kontextfenster!) an die Gemini API gesendet wird, mit dem Prompt „Diese Nutzeranfrage mit den relevantesten Artikelbeschreibungen abgleichen“. Es werden einige Aufforderungen zur Abruf einer strukturierten Ausgabe angezeigt, die der Dart-Code den Inventarelementen zuordnet, die dem Nutzer angezeigt werden sollen.