Взгляд Ссылка

Что он делает

Боковой амиотрофический склероз, или БАС, — это разрушительное заболевание, которое лишает пациента способности двигаться и говорить. Работая волонтером в ассоциациях БАС летом в старшей школе, я понял, что некоторые пациенты могут общаться только с помощью глаз и вспомогательных технологий, которые имеют множество ограничений, таких как стоимость и эффективность. Мое бесплатное многоязычное приложение Gaze Link, созданное на основе API Google Gemini, помогает пациентам с БАС общаться глазами независимо, точно и эффективно.

Сначала я распознаю лицо и глаза пользователя с помощью Google ML Kit и OpenCV. После 30-секундной калибровки и настройки пользователь может начать вводить слова на многоязычной клавиатуре Gaze Link с помощью 6 жестов глазами. Однако набор текста глазами может оказаться очень медленным процессом для длинных предложений.

Чтобы улучшить скорость ввода текста, я использовал Flash-модель Gemini 1.5, чтобы сгенерировать предполагаемое предложение пациента на основе ключевых слов и контекста. Сначала Gaze Link преобразует голос смотрителя в текст типа «Температура в помещении в порядке?». Затем пациент набирает глазами такие ключевые слова, как «горячий, переменный ток, два». Модель Близнецов будет использовать эту информацию для создания подходящего предложения, например: «Мне жарко, можешь убавить кондиционер на 2 градуса?» менее чем за секунду. Модель и клавиатура также поддерживают испанский и китайский языки. Эксперименты с 30 людьми показывают, что модель может сэкономить до 85% нажатий пользователем клавиш и сделать Gaze Link в 7 раз более эффективным, чем традиционные платы электронного перевода.