AutoFlow

Funktion

AutoFlow ist ein Assistent für die Sprachbedienung, der die Computernutzung und die Navigation durch Nutzer mit körperlichen Behinderungen vereinfacht. Dazu wird Gemini als leistungsstarker, auf natürlicher Sprache basierender Agent integriert.

Gemini dient als Gehirn von unseren drei Kundenservicemitarbeitern.
### Planning-Agent
Der Planning-Agent ist für die Erstellung eines Plans aus einem UI-Element und einem Screenshot verantwortlich. Die UI-Elemente werden aus der Win32 UIAutomation API extrahiert und aus der Win32 User API wird ein Screenshot erstellt. Er fordert Gemini auf, einen Plan aus diesen Daten zu erstellen.
Dieser Agent kann nur die Ausführung des Plans starten und leitet ihn an das Anrufplanungssystem weiter.

### Agent identifizieren
Identifizieren Sie den Agent, der für die Identifizierung von UI-Elementen verantwortlich ist, mit denen Nutzer interagieren möchten, z. B. Schaltflächen oder Links. Dieser Agent identifiziert mithilfe von Gemini das Element, mit dem der Nutzer interagieren möchte.

### Navigations-Agent
Der Navigations-Agent führt ein Maus- und Tastaturereignis aus, um mit dem Bildschirm zu interagieren. Dieser Agent verwendet Gemini, um natürliche Sprache wie „Linksklick“ in Maus und Tastatur auszuführen.