Джаю

Что он делает

Jayu — революционный личный помощник, который органично объединяет возможности Gemini с взаимодействием на экране. Преодолевая пределы того, что должен уметь LLM, Jayu использует Gemini, чтобы предоставить ориентированный на пользователя опыт для всех, от технически подкованных пользователей до тех, кто имеет технологические проблемы. Никакого докер-контейнера, никакого сложного интерфейса и никаких других LLM или VLM, кроме Gemini. Для удобства использования встроены функции преобразования речи в текст, преобразования текста в речь и распознавания жестов.

Сила Jayu заключается в его уникальной способности отвечать на запросы, используя экран в качестве контекста, и взаимодействовать с экранными элементами. От написания кода на основе диаграмм до прямого взаимодействия с приложениями и чтения живых переводов — Jayu может делать все это.

В качестве командного центра используется Flash-модель. После получения инструкций от пользователя модель использует вызов функции для вызова других моделей Gemini для помощи в выполнении ее задачи в случае необходимости. Благодаря оперативному проектированию модели Flash напрямую взаимодействуют с Chrome и отвечают на быстрые вопросы, а модели Pro обучаются использовать мощные возможности машинного зрения Gemini для анализа окон приложений. А возможности Gemini по обнаружению объектов позволяют Джаю нажимать кнопки, которые он видит на экране.

Мы осознаем риски безопасности, связанные с доступом к вашему экрану или файлам; Джаю не может получить доступ к папкам или приложениям, которые ему не показаны. Джаю будет смотреть на ваш экран только в том случае, если ему будет предложено это сделать. Джаю также не сохраняет никакой памяти или журналов изображений или записей.