Gaze 링크

기능

근위축성 측색 경화증(ALS)은 환자의 움직임과 말하기 능력을 앗아가는 치명적인 질병입니다. 고등학교 여름방학 동안 ALS 협회에서 자원봉사를 하면서 일부 환자는 눈과 보조 기술로만 소통할 수 있다는 사실을 알게 되었습니다. 보조 기술에는 비용과 효율성 등 여러 가지 제한사항이 있습니다. Google Gemini API를 기반으로 하는 'Gaze Link'라는 무료 다국어 앱은 ALS 환자가 눈으로 독립적이고 정확하며 효율적으로 소통할 수 있도록 지원합니다.

먼저 Google ML Kit 및 OpenCV를 사용하여 사용자의 얼굴과 눈을 인식합니다. 30초의 보정 및 설정 조정 후 사용자는 6가지 눈 동작으로 Gaze Link의 다국어 키보드에서 단어를 입력할 수 있습니다. 하지만 긴 문장에서는 눈으로 입력하는 속도가 매우 느릴 수 있습니다.

텍스트 입력 속도를 개선하기 위해 Gemini 1.5 Flash 모델을 사용하여 키워드와 맥락을 기반으로 환자가 의도한 문장을 생성했습니다. 먼저 Gaze Link가 간병인의 음성을 '방 온도가 괜찮나요?'와 같은 텍스트로 옮깁니다. 그런 다음 환자는 눈으로 '덥다, 에어컨, 둘'과 같은 키워드를 입력합니다. Gemini 모델은 이 정보를 사용하여 1초 이내에 '덥습니다. 에어컨을 2도 낮춰 주시겠어요?'와 같은 적절한 문장을 생성합니다. 이 모델과 키보드는 스페인어와 중국어로도 작동합니다. 30명을 대상으로 한 실험에 따르면 이 모델은 사용자 키 입력의 최대 85% 를 절약할 수 있으며 Gaze Link를 기존 전자 전송 보드보다 7배 더 효과적으로 만들 수 있습니다.