凝视链接

作用

肌萎缩性侧索硬化症 (ALS) 是一种严重的疾病，会使患者失去移动和说话的能力。在高中的暑假期间，我曾在 ALS 协会做志愿者，发现有些患者只能通过眼睛和辅助技术进行交流，但这类技术存在许多限制，例如费用和效率。我的免费多语言应用“Gaze Link”采用 Google Gemini API 为依托，可帮助 ALS 患者独立、准确、高效地通过眼睛进行交流。

首先，我会使用 Google ML Kit 和 OpenCV 识别用户的脸部和眼睛。经过 30 秒的校准和设置调整后，用户就可以开始使用 6 种眼动手势在 Gaze Link 的多语言键盘上输入字词。不过，对于长句子，用眼睛输入可能非常缓慢。

为了提高文本输入率，我使用 Gemini 1.5 Flash 模型根据关键字和上下文生成患者想要的句子。首先，Gaze Link 会将护理人员的语音转写为文字，例如“室温合适吗？”。然后，患者会用眼睛输入“热、空调、两”等关键字。Gemini 模型会使用这些信息在一秒钟内生成合适的句子，例如“我很热，能把空调调低 2 度吗？”该设备和键盘还支持西班牙语和中文。对 30 名用户进行的实验表明，该模型最多可减少 85% 的用户按键操作，使 Gaze Link 的效率比传统的电子转账板高出 7 倍。