Project Stargate

機能

Project Stargate という AI アプリケーションは、自動評価システム（または楽しいスケッチ/推測ゲーム）の初期プロトタイプです。現在、Stargate は Gemini モデルを使用して、リモート ビューイング セッション内のモニターの役割をシミュレートしています。リモート ビューイング セッション内のモニターは、視聴者にセッションを案内し、視聴者がシグナルラインを維持して、受け取った画像をより詳細に説明できるようにします。Gemini は、通常はリモート ビューイング セッションのプログラム モニターがセッション後に分析するスケッチデータに、マルチモーダルの利点を最大限に活用して組み込まれています。この自動化により、AI モニター（Gemini）は「目」を持ち、視聴者が特定の時点でスケッチしている内容や、これらのスケッチがセッション中に収集される場所や物体のより鮮明な画像にどのように関連しているかを確認できます。このアプリケーションでは、会話で提供された詳細情報とスケッチに基づいて、Imagen 2 モデルを使用して、リモート ビューの対象となる可能性のあるライブモデルを生成することもできます（つまり、私のように絵が下手な人でも、リモート ビュー セッションのプロセスを楽しむことができます）。また、リトリーブ拡張生成システムを chatbot に統合するための初期的な準備が整っています。私は Firestore Langchain Record Manager を開発しています（PR は送信済み）。このレコード マネージャーにより、Firestore を最大限に活用して、リトリーブ拡張生成 Gemini chatbot のドキュメント管理を行うことができます。リポジトリに記載されている今後の作業