GUI Dog

Qué hace

Si quieres acceder a un archivo específico Para un usuario vidente, solo debes hacer clic para ingresar a la carpeta Documentos y, luego, volver a hacer clic para abrir el archivo. Listo.

Pero ¿qué sucede si tienes una discapacidad visual? Usarás un lector para ciegos, como VoiceOver de macOS. Por lo tanto, abres una ventana del administrador de archivos y VoiceOver describe, en detalle, qué es y qué puede hacer (cada vez que lo usas). Usas acciones complejas del teclado para navegar a la barra lateral. Cada vez que interactúas con el dispositivo, VoiceOver repite la información sobre el elemento de la IU enfocado. Luego, desplázate por la lista de carpetas, una por una, con VoiceOver anunciando el nombre de cada carpeta hasta que finalmente escuches la carpeta correcta. El proceso se repite dentro de la carpeta hasta que encuentres el archivo que deseas. ¿No fue exasperante?

Una tarea sencilla de dos clics se convierte en una operación agotadora y tediosa de una docena de acciones.

¿Qué pasaría si pudieras completar la misma tarea con solo decir: "En la carpeta Documentos, abre mi documento de vacunación"? Mi app, GUI Dog, hace eso.

El usuario le da instrucciones precisas a GUI Dog para una tarea. GUI Dog le proporciona a Gemini la tarea que debe realizar y una lista de elementos de la IU que puede manipular. Luego, Gemini especifica qué acciones realizar, y GUI Dog usa el sistema de accesibilidad de macOS para ejecutarlas. Juntos, trabajan para completar la tarea.

El objetivo de GUI Dog es ser el “ojo que ve” para las personas con discapacidad visual, con el uso de tecnologías de modelos grandes de lenguaje para ayudar a mejorar la situación de las personas desfavorecidas y mejorar sus interacciones con el mundo digital.