AutoFlow

Description

AutoFlow est un assistant d'accessibilité vocale conçu pour simplifier l'utilisation de l'ordinateur et la navigation des utilisateurs souffrant d'un handicap physique. Il intègre Gemini en tant qu'agent puissant basé sur le langage naturel.

Gemini sert de cerveau à nos trois agents.
### Agent de planification
L'agent de planification est chargé de créer un plan à partir de l'élément d'UI et de la capture d'écran. Ces éléments sont extraits de l'API Win32 UIAutomation, et la capture d'écran est extraite de l'API Win32 User. Il demandera à Gemini de créer un plan à partir de ces données.
Cet agent sert uniquement à lancer l'exécution du plan et le transférera au système de planification des appels.

### Identifier l'agent
L'agent d'identification est chargé d'identifier l'élément d'interface utilisateur avec lequel l'utilisateur souhaite interagir, comme un bouton ou des liens. Cet agent utilisera Gemini pour identifier l'élément avec lequel l'utilisateur souhaite interagir.

### Agent de navigation
L'agent de navigation est chargé d'exécuter les événements de souris et de clavier pour interagir avec l'écran. Cet agent utilisera Gemini pour convertir le langage naturel comme le "clic gauche" en exécution avec la souris et le clavier.