AutoFlow
Permite el control de computadoras sin esfuerzo mediante el lenguaje natural.
Qué hace
AutoFlow es un asistente de accesibilidad por voz diseñado para simplificar el uso de la computadora y la navegación de los usuarios con discapacidades físicas a través de la integración de Gemini como un agente potente basado en el lenguaje natural.
Gemini funciona como el cerebro de nuestros 3 agentes.
### Agente de planificación
El agente de planificación es responsable de crear un plan a partir de un elemento de la IU y una captura de pantalla, el elemento de la IU se extrae de la API de UIAutomation de Win32 y la captura de pantalla se toma de la API de usuario Win32 y le pedirá a Gemini que cree un plan a partir de esos datos.
Este agente solo tiene función para comenzar la ejecución del plan y reenviará al sistema de planificación de anillo.
### Identificar agente
Identificar agente es responsable de identificar el elemento de la IU con el que el usuario quiere interactuar, como un botón o vínculos. Este agente usará Gemini para identificar el elemento con el que el usuario quiera interactuar.
### Agente de navegación
El agente de navegación se encarga de ejecutar un evento del mouse y del teclado para interactuar con la pantalla. Este agente usará Gemini para convertir el lenguaje natural, como "clic izquierdo", en la ejecución del mouse y el teclado.
Con la tecnología de
- Voz a texto (STT) de Google
Equipo
De
AutoFlow
De
Tailandia