Собака с графическим интерфейсом

Что он делает

Вы хотите получить доступ к определенному файлу. Для зрячего пользователя вы просто нажимаете, чтобы войти в папку «Документы», и нажимаете еще раз, чтобы открыть файл. Готово.

Но что делать, если у вас проблемы со зрением? Вы бы использовали слепого читателя, например VoiceOver в macOS. Итак, вы открываете окно файлового менеджера, и VoiceOver подробно описывает, что это такое и что он может делать (каждый раз, когда вы его используете!). Вы используете сложные действия с клавиатурой, чтобы перейти к боковой панели. Всякий раз, когда вы взаимодействуете со своим устройством, VoiceOver повторяет информацию о сфокусированном элементе пользовательского интерфейса. Затем вы проходите по списку папок, одну за другой, а VoiceOver объявляет имя каждой папки, пока вы, наконец, не услышите нужную папку. Процесс повторяется внутри папки, пока вы не найдете нужный файл. Разве это не раздражает?

Тихая задача, требующая двух щелчков, превращается в нудную, утомительную операцию из дюжины действий.

Что, если бы вы могли выполнить ту же задачу, просто дав команду: «В папке «Документы» откройте мой документ о вакцинации»? Мое приложение GUI Dog делает это.

Пользователь дает GUI Dog точные инструкции для задачи. GUI Dog предоставляет Gemini задачу, которую нужно выполнить, и список элементов пользовательского интерфейса, которыми он может манипулировать. Затем Gemini указывает, какие действия следует предпринять, а GUI Dog использует систему специальных возможностей macOS для их выполнения. Вместе они работают над выполнением задачи.

GUI Dog стремится стать «наблюдателем» для людей с нарушениями зрения, используя технологии крупной языковой модели, чтобы помочь обездоленным людям улучшить их взаимодействие с цифровым миром.