ブラインド ナビゲーション

機能

視覚障がい者が周囲を移動するのを支援するアプリを作成しました。このアプリには、環境についてユーザーを案内する「ナビゲーション モード」、周囲についてユーザーが特定の質問をできるようにする「アシスタント モード」、書籍や標識などの読み上げを可能にする「読み上げモード」の 3 つの主要なモードがあります。
Gemini AI API はプロジェクト内の 3 つのファイルで使用されており、各ファイルは上記の各モードに割り当てられています。
そのため、ユーザーのスマートフォンのカメラがリアルタイムのフレーム/画像をキャプチャし、Gemini 入力ボックスに送信します。Gemini は、各モデルがトレーニングされているため、出力としてプロンプトを作成します。出力プロンプトはオーバーレイに表示されます。TTS（テキスト読み上げ）の助けを借りて、盲人は音声を聞き、簡単に移動できます。