視線リンク

機能

筋萎縮性側索硬化症（ALS）は、患者の運動能力と発話能力を奪う破滅的な病気です。高校生の夏休みに ALS 協会でボランティア活動をしていたとき、一部の患者は目と支援技術でしかコミュニケーションをとることができず、費用や効率性など多くの制限があることに気づきました。Google Gemini API を活用した無料の多言語アプリ「Gaze Link」は、ALS 患者が自立して、正確かつ効率的に目でコミュニケーションを取れるよう支援します。

まず、Google ML Kit と OpenCV を使用してユーザーの顔と目を認識します。30 秒間の調整と設定を終えると、6 種類のアイジェスチャーで Gaze Link の多言語キーボードで文字入力を開始できます。ただし、長い文章の場合は、アイタイピングが非常に遅くなることがあります。

テキスト入力率を改善するために、Gemini 1.5 Flash モデルを使用して、キーワードとコンテキストに基づいて患者の意図する文章を生成しました。まず、Gaze Link がケア提供者の声を文字に変換し、「室温は大丈夫ですか？」などのテキストを表示します。その後、患者は「暑い、エアコン、2」などのキーワードを視線で入力します。Gemini モデルは、この情報を基に「暑いので、エアコンを 2 度下げてもらえますか？」などの適切な文章を 1 秒以内に生成します。このモデルとキーボードは、スペイン語と中国語にも対応しています。30 人を対象としたテストでは、このモデルによりユーザーのキー入力が最大 85% 削減され、Gaze Link の有効性が従来の電子転送ボードの 7 倍に向上することが示されました。