Jayu

Description

Jayu est un assistant personnel révolutionnaire qui intègre parfaitement les fonctionnalités de Gemini aux interactions à l'écran. Jayu repousse les limites de ce qu'un LLM devrait pouvoir faire. Il utilise Gemini pour offrir une expérience centrée sur l'utilisateur, pour tous les utilisateurs, des plus avertis aux plus novices. Aucun conteneur Docker, aucune interface complexe, et aucun autre LLM ou VLM que Gemini. Les fonctionnalités de synthèse vocale, de reconnaissance vocale et de reconnaissance gestuelle sont intégrées pour une utilisation optimale.

La force de Jayu réside dans sa capacité unique à répondre aux requêtes en utilisant votre écran comme contexte et à interagir avec les éléments à l'écran. Jayu peut tout faire, de l'écriture de code basé sur un diagramme à l'interaction directe avec des applications en passant par la lecture de traductions en direct.

Un modèle Flash est utilisé comme centre de commande. Après avoir reçu les instructions de l'utilisateur, le modèle utilise l'appel de fonction pour appeler d'autres modèles Gemini afin de l'aider à accomplir sa tâche, si nécessaire. Grâce à l'ingénierie des requêtes, les modèles Flash interagissent directement avec Chrome et répondent à des questions rapides, tandis que les modèles Pro sont entraînés à utiliser les puissantes fonctionnalités de vision de Gemini pour analyser les fenêtres d'application. Les fonctionnalités de détection d'objets de Gemini permettent à Jayu de cliquer sur les boutons qu'il voit à l'écran.

Nous sommes conscients des risques de sécurité liés à l'accès à votre écran ou à vos fichiers. Jayu ne peut pas accéder aux dossiers ni aux applications qui ne lui sont pas présentés. Jayu ne regarde votre écran que si vous lui demandez directement de le faire. Il ne conserve aucune mémoire ni aucun journal des images ou des enregistrements.