AutoFlow

透過自然語言輕鬆控制電腦。

用途

AutoFlow 是語音無障礙助理,將 Gemini 整合至功能強大的自然語言導向代理程式,簡化身心障礙使用者的電腦使用與導航體驗。

Gemini 是 3 名服務專員的大腦。
###Planning 代理程式
Planning 代理程式負責透過 UI 元素和螢幕截圖建立計畫,並從 Win32 UIAutomation API 擷取 UI 元素,再從 Win32 User API 擷取螢幕截圖,並要求 Gemini 根據這些資料建立計畫。
這個虛擬服務專員的功能只能開始執行計畫,並會轉送至響鈴規劃系統。

###識別代理程式
識別服務專員是由服務專員負責找出使用者想要互動的 UI 元素,例如按鈕或連結。這個代理程式會使用 Gemini 來識別使用者要互動的元素。

###導航代理程式
導航代理程式負責執行滑鼠和鍵盤事件來與畫面互動,這個代理程式會使用 Gemini 將自然語言 (例如「滑鼠左鍵」) 轉換為滑鼠和鍵盤執行作業。

採用

  • Google 語音轉文字 (STT)

團隊

變更者

AutoFlow

寄件者

泰國