Vision Crafters

機能

目的:
このモバイルアプリは、視覚障がいのある人が周囲の状況を把握しやすくすることで、その能力を高めることができます。アプリはデバイスのカメラを使用して画像や動画をキャプチャし、Gemini API を介して処理して説明的なテキストを生成します。このテキストは音声に変換されます。また、写真や動画の撮影にジェスチャー コントロールを採用し、危険検出を統合して危険な状況でアラームを鳴らす機能も備えています。

Gemini の統合:
Gemini はアプリに不可欠な要素であり、高度なシーンからテキストへの変換処理機能を提供します。画像や動画の視覚データを正確で詳細なテキストの説明に変換します。Gemini は、複雑なシーンを認識し、潜在的な危険を特定して、ユーザーに正確で実用的なフィードバックを提供するのに優れています。この機能は、ユーザーがアクセスしやすく有益なエクスペリエンスを作成するために不可欠であり、Gemini はテキストの説明と危険検出の両方に不可欠です。また、Gemini はインタラクション ログのタイトルの生成にも使用されます。

機能:
- Gemini によるシーンからテキストへの処理。
- ユーザー補助のためのテキスト読み上げ、音声文字変換、ジェスチャー操作。
- Gemini による危険検出とアラート。
- Gemini 生成のタイトルを含むインタラクション ログ。

エンドユーザー:
視覚障がいのあるユーザーとそのケア提供者向けに設計されています。

メリット:
- 音声による周囲の状況の把握が容易になります。
- 危険アラートで安全性が向上します。
- ログに簡単にアクセスでき、自立性が向上します。