VISION_AI

機能

Vision_AI は、視覚障がいのあるユーザーに、周囲の状況やニーズに基づいてリアルタイムの音声フィードバックと指示を提供する AI ガイダンス システムです。最先端の生成 AI とコンピュータ ビジョンを活用して、環境の画像と音声をキャプチャして処理し、包括的な支援を提供します。この自動化されたプロセスには、リアルタイムの障害物検知と回避、ウェアラブル デバイスとの統合が含まれており、視覚障がいのある人が情報やサービスに簡単にアクセスしながら、独立して安全に移動できるようにします。技術スタック:
- **画像処理用の生成 AI（GEMINI）**
- **HTML/CSS**
- **Depth Sensing API、Speech Recognition API、Text-to-Speech ライブラリ**
- **Firebase**
- **ESP32 モジュールを使用した盲人用スティックとの統合**
- **スマートグラスとの統合**
**GEMINI API の使用方法:**
Gemini API を使用すると、LiDAR モジュールとカメラ モジュールから AI 処理ユニットにセンサーデータを継続的にストリーミングできます。これにより、VISION_AI は常に最新の環境情報にアクセスできるため、リアルタイムで分析と対応を行うことができます。
VISION_AI は Gemini API を介して、オブジェクト認識とシーン記述のための Google の生成 AI をシームレスに統合します。Gemini API は、画像キャプチャ、前処理、特徴抽出など、画像処理に不可欠な機能を提供します。
フィードバック メカニズム:
Gemini API の機能を活用して、VISION_AI はユーザーに即時的な聴覚と触覚のフィードバックを返します。