AutoFlow

作用

AutoFlow 是一款语音无障碍助理，可集成 Gemini 作为由自然语言驱动的强大代理，从而简化身体残障用户的计算机使用和导航。

Gemini 是我们 3 个客服人员的大脑。
###规划代理
规划代理负责根据界面元素和屏幕截图创建规划，界面元素是从 Win32 UIAutomation API 中提取的，并且屏幕截图来自 Win32 User API，并且它会要求 Gemini 根据这些数据创建规划。
此代理仅具有开始执行规划的功能，并将转到响铃规划系统。

###确定代理
确定代理负责确定用户想要与之互动的界面元素（例如按钮或链接），代理将使用 Gemini 确定用户想要与之互动的元素。

###导航代理
导航代理负责执行鼠标和键盘事件以与屏幕交互，此代理将使用 Gemini 将自然语言（例如“左键点击”）转换为鼠标和键盘执行。