AutoFlow

用途

AutoFlow 是語音無障礙助理，將 Gemini 整合至功能強大的自然語言導向代理程式，簡化身心障礙使用者的電腦使用與導航體驗。

Gemini 是 3 名服務專員的大腦。
###Planning 代理程式
Planning 代理程式負責透過 UI 元素和螢幕截圖建立計畫，並從 Win32 UIAutomation API 擷取 UI 元素，再從 Win32 User API 擷取螢幕截圖，並要求 Gemini 根據這些資料建立計畫。
這個虛擬服務專員的功能只能開始執行計畫，並會轉送至響鈴規劃系統。

###識別代理程式
識別服務專員是由服務專員負責找出使用者想要互動的 UI 元素，例如按鈕或連結。這個代理程式會使用 Gemini 來識別使用者要互動的元素。

###導航代理程式
導航代理程式負責執行滑鼠和鍵盤事件來與畫面互動，這個代理程式會使用 Gemini 將自然語言 (例如「滑鼠左鍵」) 轉換為滑鼠和鍵盤執行作業。