AutoFlow

Qué hace

AutoFlow es un asistente de accesibilidad por voz diseñado para simplificar el uso de la computadora y la navegación de los usuarios con discapacidades físicas a través de la integración de Gemini como un agente potente basado en el lenguaje natural.

Gemini funciona como el cerebro de nuestros 3 agentes.
### Agente de planificación
El agente de planificación es responsable de crear un plan a partir de un elemento de la IU y una captura de pantalla, el elemento de la IU se extrae de la API de UIAutomation de Win32 y la captura de pantalla se toma de la API de usuario Win32 y le pedirá a Gemini que cree un plan a partir de esos datos.
Este agente solo tiene función para comenzar la ejecución del plan y reenviará al sistema de planificación de anillo.

### Identificar agente
Identificar agente es responsable de identificar el elemento de la IU con el que el usuario quiere interactuar, como un botón o vínculos. Este agente usará Gemini para identificar el elemento con el que el usuario quiera interactuar.

### Agente de navegación
El agente de navegación se encarga de ejecutar un evento del mouse y del teclado para interactuar con la pantalla. Este agente usará Gemini para convertir el lenguaje natural, como "clic izquierdo", en la ejecución del mouse y el teclado.