EyeHear

機能

EyeHear は Gemini API を使用して、視覚障がいのあるユーザーがドアホン カメラを利用できるようにしています。Gemini は、マルチモーダル プロンプトを使用してドアホンの動画の詳細なテキスト説明を生成します。これらのテキストの説明は音声に変換され、ブラウザで自動再生されます。これにより、ドアの外側で何が起きているのかを「聞く」ことができます。たとえば、人物や荷物、その他のアクティビティを特定できます。動画の説明メタデータは、履歴と分析目的で Firebase に保存されます。