Jayu

O que faz?

O Jayu é um assistente pessoal revolucionário que integra perfeitamente os recursos do Gemini à interação na tela. Quebrando os limites do que um LLM pode fazer, Jayu usa o Gemini para oferecer uma experiência centrada no usuário, para todos, desde usuários experientes em tecnologia até aqueles que têm dificuldades. Sem contêiner do Docker, sem interface complexa e sem outro LLM ou VLM além do Gemini. Os recursos de reconhecimento de fala, de texto em voz e de gestos são integrados para melhorar a usabilidade.

O ponto forte do Jayu está na capacidade única de responder a comandos com a tela como contexto e interagir com os elementos na tela. Do código escrito com base em um diagrama à interação direta com apps e à leitura de traduções em tempo real, Jayu pode fazer tudo.

Um modelo Flash é usado como centro de comando. Depois de receber instruções do usuário, o modelo usa a chamada de função para chamar outros modelos do Gemini e ajudar na tarefa, se necessário. Com a engenharia de comando, os modelos Flash interagem diretamente com o Chrome e respondem a perguntas rápidas, enquanto os modelos Pro são treinados para usar os recursos de visão avançados do Gemini para analisar janelas de apps. E os recursos de detecção de objetos do Gemini permitem que o Jayu clique nos botões que aparecem na tela.

Sabemos dos riscos de segurança de ter acesso à tela ou aos arquivos. O Jayu não pode acessar pastas ou apps que não são mostrados a ele. O Jayu só vai olhar para a tela se for solicitado diretamente. Ele também não retém nenhuma memória ou registros de imagens ou gravações.