GUI Dog

Description

Vous souhaitez accéder à un fichier spécifique. Pour un utilisateur voyant, il suffit de cliquer pour accéder au dossier "Documents", puis de cliquer à nouveau pour ouvrir le fichier. C'est fait.

Mais que faire si vous êtes déficient visuel ? Vous devez utiliser un lecteur d'écran pour non-voyants, comme VoiceOver sur macOS. Vous ouvrez donc une fenêtre de gestionnaire de fichiers, et VoiceOver décrit en détail ce qu'il s'agit et ce qu'il peut faire (à chaque fois que vous l'utilisez). Vous utilisez des actions complexes au clavier pour accéder à la barre latérale. Chaque fois que vous interagissez avec votre appareil, VoiceOver répète les informations sur l'élément d'interface utilisateur sélectionné. Vous parcourez ensuite la liste des dossiers, un par un, et VoiceOver annonce le nom de chaque dossier jusqu'à ce que vous entendiez celui qui vous intéresse. La procédure est répétée dans le dossier jusqu'à ce que vous trouviez le fichier souhaité. N'est-ce pas exaspérant ?

Une tâche simple à deux clics se transforme en opération fatigante et bruyante nécessitant une douzaine d'actions.

Que se passerait-il si vous pouviez accomplir la même tâche en disant simplement : "Dans le dossier "Documents", ouvrez mon document de vaccination" ? C'est ce que fait mon application, GUI Dog.

L'utilisateur donne à GUI Dog des instructions précises pour une tâche. GUI Dog fournit à Gemini la tâche à accomplir et une liste des éléments d'interface utilisateur qu'il peut manipuler. Gemini spécifie ensuite les actions à effectuer, et GUI Dog utilise le système d'accessibilité macOS pour les exécuter. Ensemble, ils s'efforcent d'accomplir la tâche.

GUI Dog vise à être le "chien guide" des personnes déficientes visuelles. Il utilise les technologies de grands modèles de langage pour aider les personnes défavorisées à améliorer leurs interactions avec le monde numérique.