Ссылка на взгляд

Что он делает

Боковой амиотрофический склероз, или БАС, — это разрушительное заболевание, которое лишает пациента возможности двигаться и говорить. Работая волонтером в ассоциациях БАС летом в старшей школе, я понял, что некоторые пациенты могут общаться только с помощью глаз и вспомогательных технологий, которые имеют много ограничений, таких как стоимость и эффективность. Работающее на API Google Gemini, мое бесплатное многоязычное приложение под названием «Gaze Link» помогает пациентам с БАС общаться с помощью глаз независимо, точно и эффективно.

Сначала я распознаю лицо и глаза пользователя с помощью Google ML Kit и OpenCV. После 30-секундной калибровки и настройки пользователь может начать печатать слова на многоязычной клавиатуре Gaze Link с 6 жестами глаз. Однако набор текста глазами может быть очень медленным процессом для длинных предложений.

Чтобы улучшить скорость ввода текста, я использовал модель Gemini 1.5 Flash для генерации предполагаемого предложения пациента на основе ключевых слов и контекста. Сначала Gaze Link транскрибирует голос сиделки в текст, например «Температура в комнате нормальная?». Затем пациент будет вводить ключевые слова, например «горячо, кондиционер, два» глазами. Модель Gemini будет использовать информацию для генерации подходящего предложения, например «Мне жарко, можете ли вы уменьшить кондиционер на 2 градуса?» менее чем за секунду. Модель и клавиатура также работают с испанским и китайским языками. Эксперименты с 30 людьми показывают, что модель может сэкономить до 85% нажатий клавиш пользователем и сделать Gaze Link в 7 раз эффективнее традиционных плат E-transfer.