AutoFlow

Qué hace

AutoFlow es un asistente de accesibilidad por voz diseñado para simplificar el uso de computadoras y la navegación de los usuarios con discapacidades físicas mediante la integración de Gemini como un agente potente y basado en lenguaje natural.

Gemini funciona como el cerebro de nuestros 3 agentes.
### Agente de planificación
El agente de planificación es responsable de crear un plan a partir del elemento de la IU y la captura de pantalla. El elemento de la IU se extrae de la API de Win32 UIAutomation y la captura de pantalla se toma de la API de Win32 User. Le pedirá a Gemini que cree un plan a partir de estos datos.
Este agente solo tiene la función de iniciar la ejecución del plan y lo reenviará al sistema de planificación de anillos.

### Agente de identificación
El agente de identificación es responsable de identificar el elemento de la IU con el que el usuario desea interactuar, como un botón o un vínculo. Este agente usará Gemini para identificar el elemento con el que el usuario desea interactuar.

### Agente de navegación
El agente de navegación es responsable de ejecutar el evento del mouse y el teclado para interactuar con la pantalla. Este agente usará Gemini para convertir el lenguaje natural, como "clic izquierdo", en la ejecución del mouse y el teclado.