GUI Dog

O que faz?

Você quer acessar um arquivo específico. Para um usuário com visão, basta clicar para entrar na pasta "Documentos" e clicar novamente para abrir o arquivo. Pronto.

E se você tiver deficiência visual? Você usaria um leitor de tela, como o VoiceOver do macOS. Então você abre uma janela do gerenciador de arquivos, e o VoiceOver descreve em detalhes o que ele é e o que pode fazer (sempre que você o usa). Você usa ações complexas do teclado para navegar até a barra lateral. Sempre que você interage com o dispositivo, o VoiceOver repete as informações sobre o elemento da interface em foco. Você percorre a lista de pastas, uma por uma, com a VoiceOver anunciando o nome de cada pasta até encontrar a correta. O processo é repetido dentro da pasta até que você encontre o arquivo desejado. Não é irritante?

Uma tarefa tranquila de dois cliques se transforma em uma operação cansativa e chata com várias ações.

E se você pudesse concluir a mesma tarefa simplesmente instruindo: "Na pasta Documentos, abra meu documento de vacinação"? Meu app, GUI Dog, faz isso.

O usuário dá instruções precisas ao GUI Dog para uma tarefa. O GUI Dog fornece a Gemini a tarefa a ser realizada e uma lista de elementos da interface que podem ser manipulados. O Gemini especifica quais ações devem ser tomadas, e o GUI Dog usa o sistema de acessibilidade do macOS para executá-las. Juntos, eles trabalham para concluir a tarefa.

O GUI Dog tem como objetivo ser o "olho que vê" para pessoas com deficiência visual, usando tecnologias de modelo de linguagem grande para ajudar a melhorar a situação de pessoas em desvantagem, melhorando as interações delas com o mundo digital.