Jayu

Qué hace

Jayu es un asistente personal revolucionario que integra a la perfección las funciones de Gemini con la interacción en pantalla. Jayu supera los límites de lo que un LLM debería poder hacer y utiliza Gemini para proporcionar una experiencia centrada en el usuario, para todos, desde los usuarios expertos en tecnología hasta los que tienen dificultades tecnológicas. Sin contenedor de Docker, sin interfaz compleja ni ningún otro LLM o VLM además de Gemini. Las funciones de reconocimiento de gestos, texto a voz y voz a texto están integradas para mejorar la usabilidad.

La fortaleza de Jayu reside en su capacidad única de responder instrucciones con tu pantalla como contexto y de interactuar con los elementos que se muestran en ella. Jayu puede hacer de todo, desde escribir código basado en un diagrama hasta interactuar directamente con apps y leer traducciones en vivo.

Se usa un modelo de Flash como centro de comandos. Después de recibir instrucciones del usuario, el modelo usa llamadas a función para llamar a otros modelos de Gemini para que lo ayuden con su tarea si es necesario. A través de la ingeniería de instrucciones, los modelos Flash interactúan directamente con Chrome y responden preguntas rápidas, mientras que los modelos Pro se entrenan para usar las potentes capacidades de visión de Gemini y analizar las ventanas de la app. Además, las capacidades de detección de objetos de Gemini permiten que Jayu haga clic en los botones que ve en la pantalla.

Sabemos los riesgos de seguridad que implica tener acceso a tu pantalla o a tus archivos. Jayu no puede acceder a carpetas ni a apps que no se le muestren. Jayu solo mirará tu pantalla si se le solicita directamente que lo haga. Jayu tampoco retiene ningún registro ni memoria de imágenes o grabaciones.