1 PUL

Działanie

1PUL (1st Place You Look, wymawiane jako „one pull”) to aplikacja internetowa Flutter (prototyp) zawierająca spis elementów przemieszczanych przez użytkowników i interfejs do wyszukiwania elementów w spisie. W środowisku z wiele przedmiotami i wieloma opcjami przechowywania (np. w zabieganym domu lub biurze) może być trudno: 1) zlokalizować ostatnie miejsce, w którym dany przedmiot został zauważony, oraz 2) mieć na uwadze wszystkie przedmioty, gdy próbujesz rozwiązać problem lub wypełnić listę. 1PUL można też używać do aktywnego tworzenia spisu kolekcji elementów.
Gdy kod Fluttera wykryje ruch w kamerze przez porównanie klatek, prześle do interfejsu Gemini API obraz z kamery i prompt w takim brzmieniu: „Jeśli jest osoba trzymająca przedmiot i jest on wyraźnie widoczny, opisz ten przedmiot”. Opis obiektu z Gemini, a także adres URL obrazu stałego, lokalizacja kamery i (opcjonalnie) transkrypcja dźwiękowych komentarzy osoby są zapisywane w arkuszu Google. Obraz statyczny jest przesyłany do zasobnika GCS. Urządzenie do rejestrowania, na którym działa 1PUL, pokaże też krótko, że dany przedmiot jest rejestrowany w inwentarzu.
Wyszukiwanie w inwentarzu to funkcja, która wysyła zapytanie użytkownika (np. „Jakie mam sprzęty kempingowe?” lub „Gdzie jest mój klucz nasadowy?”) do interfejsu Gemini API wraz z pełnymi opisami inwentarza (dzięki temu ogromne okno kontekstowe) z promptem w postaci sugestii dopasowania zapytania użytkownika do najbardziej odpowiednich opisów produktów. W tym celu kod Darta mapuje dane wyjściowe do elementów z układu, które są prezentowane użytkownikowi.