1PUL

O que faz?

O 1PUL (1st Place You Look, pronunciado "one pull") é um app da Web do Flutter (protótipo) que faz inventário de itens movidos por pessoas e tem uma interface para pesquisar o inventário. Em um ambiente com muitos itens e muitas opções de armazenamento (como uma casa ou um escritório movimentados), pode ser difícil 1) rastrear o último lugar em que um item foi visto e 2) ter todos os itens em mente ao tentar resolver um problema ou preencher uma lista. O 1PUL também pode ser usado para fazer o inventário ativo de uma coleção de itens.
Quando o código do Flutter detecta o movimento da câmera comparando os frames, ele acessa a API Gemini com um frame da câmera e uma solicitação como "se houver uma pessoa segurando um objeto e o objeto estiver claramente visível, descreva o objeto". A descrição do objeto do Gemini, além do URL da imagem, do local da câmera e (opcionalmente) dos comentários audíveis transcritos da pessoa, são gravados em uma planilha Google. A imagem estática é enviada para um bucket do GCS. O dispositivo de captura que executa a 1PUL também mostra brevemente que um item está sendo inventariado.
A pesquisa de inventário é um recurso que envia uma consulta do usuário (por exemplo, "qual equipamento de acampamento eu tenho", "onde está minha chave de fenda") para a API Gemini, junto com as descrições completas do inventário (graças à janela de contexto gigante), com um comando como "corresponder essa consulta do usuário às descrições de itens mais relevantes". Há algumas solicitações para receber uma saída estruturada, que o código Dart mapeia de volta para itens de inventário para apresentar ao usuário.