Компаньон 1

Что он делает

"Companion" — это расширение Chrome, призванное сделать Интернет более доступным и удобным для пользователя, особенно для людей с нарушениями зрения, когнитивными нарушениями или языковыми барьерами. Приложение использует API Gemini для упрощения сложного веб-контента, делая его более усвояемым и понятным.

Основная идея Companion — предоставить Gemini прямой доступ к веб-контенту вашей текущей вкладки, что позволит ему предоставлять соответствующие ответы на тот контент, который вы просматриваете в данный момент. В настоящее время приложение поддерживает базовую мультимодальность с Gemini, позволяя вам запрашивать Gemini с помощью изображения и текста и получать текстовый ответ. В планы на будущее входит расширение этой возможности для обработки нескольких изображений, видео и аудио, а также создание изображений для иллюстрации веб-контента.

Функция, которая иллюстрирует направление приложения, — это его способность понимать и отвечать на голосовые команды в режиме наведения. В этом режиме Gemini интерпретирует голосовые команды в соответствии с выбранным пользователем контентом, предоставляя контекстно-зависимые ответы, которые соответствуют текущему разговору.

Пользователи также могут настраивать ответы Gemini в соответствии со своими предпочтениями. Например, вы можете попросить Gemini упростить информацию, предложить дополнительные вопросы для углубления понимания или перевести контент на выбранные языки. Это расширение направлено не только на то, чтобы сделать веб более удобным для навигации, но и на улучшение повседневного опыта за счет устранения барьеров для цифрового контента.