AutoFlow
Facilitar o controle do computador com a linguagem natural.
O que faz?
O AutoFlow é um assistente de acessibilidade por voz projetado para simplificar o uso do computador e a navegação de usuários com deficiências físicas, integrando o Gemini como um agente poderoso e orientado por linguagem natural.
O Gemini serve como cérebro dos nossos três agentes.
### Agente de planejamento
O agente de planejamento é responsável por criar um plano com base no elemento da interface e na captura de tela. O elemento da interface é extraído da API Win32 UIAutomation e a captura de tela é tirada da API Win32 User e pede ao Gemini para criar um plano com base nesses dados.
Esse agente tem apenas a função de iniciar a execução do plano e encaminhar para o sistema de planejamento do anel.
### Agente de identificação
O agente de identificação é responsável por identificar o elemento da interface com que o usuário quer interagir, como botões ou links. Esse agente vai usar o Gemini para identificar o elemento com que o usuário quer interagir.
### Agente de navegação
O agente de navegação é responsável por executar eventos de mouse e teclado para interagir com a tela. Esse agente usa o Gemini para converter linguagem natural, como "clique esquerdo", em execução de mouse e teclado.
Desenvolvido com
- Conversão de voz em texto do Google (STT)
Equipe
Por
AutoFlow
De
Tailândia