AutoFlow

Description

AutoFlow est un assistant d'accessibilité vocale conçu pour simplifier l'utilisation d'un ordinateur et la navigation pour les utilisateurs ayant un handicap physique. Il intègre Gemini en tant qu'agent puissant basé sur le langage naturel.

Gemini sert de cerveau à nos trois agents.
### Agent de planification
L'agent de planification est chargé de créer un plan à partir d'un élément d'interface utilisateur et d'une capture d'écran. Les éléments d'interface utilisateur sont extraits de l'API Win32 UIAutomation, et la capture d'écran est extraite de l'API Win32 User. L'agent demandera ensuite à Gemini de créer un plan à partir de ces données.
Cette fonction ne sert qu'à lancer l'exécution du plan et est transmise au système de planification des anneaux.

### Agent d'identification
L'agent d'identification est chargé d'identifier l'élément d'interface utilisateur avec lequel l'utilisateur souhaite interagir, comme un bouton ou des liens. Cet agent utilise Gemini pour identifier l'élément avec lequel l'utilisateur souhaite interagir.

### Agent de navigation
L'agent de navigation est chargé d'exécuter les événements de souris et de clavier pour interagir avec l'écran. Il utilise Gemini pour convertir le langage naturel (par exemple, "clic gauche") en exécution de la souris et du clavier.