AutoFlow

用途

AutoFlow 是一種語音輔助服務助理，可整合 Gemini 這項強大的自然語言輔助服務，簡化身心障礙使用者使用電腦和瀏覽網頁的流程。

Gemini 是這 3 個服務的核心。
### 規劃代理程式
規劃代理程式負責根據 UI 元素和螢幕截圖建立計畫，其中 UI 元素是從 Win32 UIAutomation API 擷取，而螢幕截圖則是從 Win32 User API 擷取，並會要求 Gemini 根據這些資料建立計畫。
這個代理程式只有啟動計畫執行作業的功能，並會轉送至環形規劃系統。

### 識別代理程式
識別代理程式負責識別使用者想互動的 UI 元素，例如按鈕或連結。這個代理程式會使用 Gemini 來識別使用者想互動的元素。

### 導覽代理程式
導覽代理程式負責執行滑鼠和鍵盤事件，以便與螢幕互動，這個代理程式會使用 Gemini 將自然語言 (例如「左鍵點選」) 轉換為滑鼠和鍵盤執行動作。