AutoFlow

透過自然語言輕鬆控制電腦。

用途

AutoFlow 是一種語音輔助服務助理,可整合 Gemini 這項強大的自然語言輔助服務,簡化身心障礙使用者使用電腦和瀏覽網頁的流程。

Gemini 是這 3 個服務的核心。
### 規劃代理程式
規劃代理程式負責根據 UI 元素和螢幕截圖建立計畫,其中 UI 元素是從 Win32 UIAutomation API 擷取,而螢幕截圖則是從 Win32 User API 擷取,並會要求 Gemini 根據這些資料建立計畫。
這個代理程式只有啟動計畫執行作業的功能,並會轉送至環形規劃系統。

### 識別代理程式
識別代理程式負責識別使用者想互動的 UI 元素,例如按鈕或連結。這個代理程式會使用 Gemini 來識別使用者想互動的元素。

### 導覽代理程式
導覽代理程式負責執行滑鼠和鍵盤事件,以便與螢幕互動,這個代理程式會使用 Gemini 將自然語言 (例如「左鍵點選」) 轉換為滑鼠和鍵盤執行動作。

採用

  • Google Speech To Text (STT)

團隊

變更者

AutoFlow

寄件者

泰國