SmartVision

機能

SmartVision は、視覚障がいのあるユーザー向けのモバイル アシスタントです。ユーザーの利便性、自立性、日常生活のサポートを向上させます。

このモバイル アシスタントは、テクノロジーを活用して、視覚障がいのあるユーザーのニーズに合わせて幅広い機能を提供し、日常生活の管理を容易にし、社会参加を促進することを目的としています。
この Android アプリには、オブジェクトの検出、ドキュメントの要約、読み上げモード、顔の検出、商品のスキャンなどの機能があります。オブジェクトの検出とドキュメントの要約機能は Gemini API を使用して構築されています。特にオブジェクトの検出では、Gemini-1.5-Pro よりも高速な Gemini-1.5-Flash モデルが使用されます。オブジェクト検出機能を使用するには、WiFi 対応のカメラ モジュールが搭載されたスマートキャップを装着する必要があります。このカメラで撮影された画像はモバイルアプリに表示され、リモートの Gemini API に送信され、Gemini API によってリアルタイムでキャプチャされた画像の説明が生成されます。この説明は、視覚障がいのあるユーザーの便宜を図るため、テキスト読み上げ機能を使用して読み上げられます。また、要約ドキュメント（PDF のみ）は Gemini-1.5-pro モデルを使用して作成されます。この機能を使用するには、スマートフォンのメモリに保存されている PDF ドキュメントを選択し、プロンプト テキストを設定する必要があります（たとえば、PDF ドキュメントを 150 語で要約します）。Gemini API は、PDF に含まれるテキスト コンテンツを要約してユーザーに読み上げます。