凝視連結

用途

運動神經元萎縮症 (ALS) 是一種嚴重疾病，會導致患者失去活動和說話能力。我在高中暑假期間擔任 ALS 協會的志工，發現有些病患只能透過眼睛和輔助科技進行溝通，但這類技術存在許多限制，例如成本和效率。我的免費多語言應用程式「Gaze Link」採用 Google Gemini API，可協助 ALS 患者獨立、準確且有效率地透過眼睛進行溝通。

首先，我會使用 Google ML Kit 和 OpenCV 辨識使用者的臉部和眼睛。經過 30 秒的校正和設定調整後，使用者就能開始透過 6 種眼動手勢，在 Gaze Link 的多語鍵盤上打字。不過，如果句子很長，眼動打字可能會非常緩慢。

為了提高文字輸入率，我使用 Gemini 1.5 Flash 模型，根據關鍵字和脈絡資訊產生病患想要表達的句子。首先，Gaze Link 會將照顧者的聲音轉錄成文字，例如「房間溫度合適嗎？」。接著，患者會用眼睛輸入「熱、空調、兩」等關鍵字。Gemini 模型會使用這些資訊，在 1 秒內產生適當的句子，例如「我很熱，可以將空調調低 2 度嗎？」這個型號和鍵盤也支援西班牙文和中文。實驗結果顯示，這項模型可減少使用者的按鍵次數，最多可減少 85%，讓 Gaze Link 的效率比傳統電子轉移板高出 7 倍。