AutoFlow

기능

AutoFlow는 Gemini를 강력한 자연어 기반 에이전트로 통합하여 신체적 장애가 있는 사용자의 컴퓨터 사용 및 탐색을 간소화하도록 설계된 음성 접근성 어시스턴트입니다.

Gemini는 3개 상담사의 두뇌 역할을 합니다.
### Planning 에이전트
Planning 에이전트는 UI 요소와 스크린샷에서 계획을 만들고, UI 요소는 Win32 UIAutomation API에서 추출하고, 스크린샷은 Win32 User API에서 가져온 후, Gemini에 이러한 데이터로 계획을 만들도록 요청합니다.
이 에이전트는 계획 실행을 시작하는 기능만 있으며 링 계획 시스템으로 전달합니다.

### 상담사 식별
사용자가 상호작용하려는 UI 요소(예: 버튼, 링크)를 상담사가 식별해야 합니다. 이 에이전트는 Gemini를 사용하여 사용자가 상호작용하려는 요소를 식별합니다.

### 탐색 에이전트
탐색 에이전트는 마우스 및 키보드 이벤트를 실행하여 화면과 상호작용합니다. 이 에이전트는 Gemini를 사용하여 `left click` 과 같은 자연어를 마우스 및 키보드 실행으로 변환합니다.