Джаю

Что он делает

Jayu — революционный персональный помощник, который органично интегрирует возможности Gemini с экранным взаимодействием. Разрушая ограничения того, что должен уметь делать LLM, Jayu использует Gemini для предоставления ориентированного на пользователя опыта для всех, от технически подкованных пользователей до тех, у кого проблемы с технологиями. Никаких контейнеров Docker, никакого сложного интерфейса и никаких других LLM или VLM, кроме Gemini. Возможности преобразования речи в текст, преобразования текста в речь и распознавания жестов встроены для удобства использования.

Сила Jayu заключается в его уникальной способности отвечать на запросы, используя ваш экран в качестве контекста, и взаимодействовать с экранными элементами. От написания кода на основе диаграммы до прямого взаимодействия с приложениями и чтения живых переводов — Jayu может все.

В качестве командного центра используется модель Flash. Получив инструкции от пользователя, модель использует вызов функций для вызова других моделей Gemini, которые могут помочь ей в выполнении ее задачи, если это необходимо. Благодаря оперативной разработке модели Flash напрямую взаимодействуют с Chrome и отвечают на быстрые вопросы, в то время как модели Pro обучаются использовать мощные возможности зрения Gemini для анализа окон приложений. А возможности обнаружения объектов Gemini позволяют Jayu нажимать кнопки, которые он видит на экране.

Мы осознаем риски безопасности, связанные с доступом к вашему экрану или файлам; Jayu не может получить доступ к папкам или приложениям, которые ему не показаны. Jayu будет смотреть на ваш экран только в том случае, если ему будет прямо предложено это сделать. Jayu также не сохраняет никакой памяти или журналов изображений или записей.