AutoFlow

作用

AutoFlow 是一款语音无障碍助理，旨在通过将 Gemini 集成为强大的自然语言驱动型客服人员，简化身体残障用户使用计算机和导航的流程。

Gemini 是这 3 位客服人员的大脑。
### 规划代理
规划代理负责根据界面元素和屏幕截图创建计划，界面元素从 Win32 UIAutomation API 中提取，屏幕截图从 Win32 User API 中获取，并会要求 Gemini 根据这些数据创建计划。
此代理只有启动计划执行的功能，并会转发到环形规划系统。

### 识别代理
识别代理负责识别用户想要与之互动的界面元素（例如按钮或链接），此代理将使用 Gemini 识别用户想要与之互动的元素。

### 导航代理
导航代理负责执行鼠标和键盘事件以与屏幕互动，此代理将使用 Gemini 将自然语言（例如“点击鼠标左键”）转换为鼠标和键盘执行操作。