1PUL

機能

1PUL（1st Place You Look、読み方は「ワンプル」）は、人が移動したアイテムをインベントリ化し、インベントリを検索するためのインターフェースを備えた Flutter ウェブアプリ（プロトタイプ）です。アイテムが多く、保管場所が複数ある環境（忙しい家庭やオフィスなど）では、1）アイテムが最後に見られた場所を特定すること、2）問題を解決したりリストを作成したりする際にすべてのアイテムを把握することは困難です。1PUL は、アイテムのコレクションを積極的にインベントリに登録するためにも使用できます。
Flutter コードがフレームを比較してカメラの動きを検出すると、カメラ フレームと「オブジェクトを保持している人物がいて、そのオブジェクトがはっきりと見える場合は、そのオブジェクトを説明してください」などのプロンプトを Gemini API に送信します。Gemini のオブジェクトの説明、静止画像の URL、カメラの位置情報、（省略可）ユーザーの音声コメントの文字起こしが Google スプレッドシートに書き込まれます。静止画像が GCS バケットにアップロードされます。1PUL を実行しているキャプチャ デバイスには、アイテムの在庫が確認されていることも簡単に表示されます。
在庫検索は、ユーザーのクエリ（「キャンプ用品は何がある？」「ソケットレンチはどこにある？」など）と、在庫の詳細な説明（巨大なコンテキスト ウィンドウのおかげで）を Gemini API に送信し、「このユーザーのクエリを最も関連性の高いアイテムの説明と照合してください」などのプロンプトを表示する機能です。構造化出力を取得するためのプロンプトが表示されます。Dart コードは、この出力をインベントリ アイテムにマッピングしてユーザーに表示します。