Обзор Gemini Live API

Live API позволяет общаться с Gemini голосом и с помощью изображений в реальном времени с низкой задержкой. Он обрабатывает непрерывные потоки аудио, изображений и текста, чтобы предоставлять мгновенные ответы, похожие на человеческую речь, и создавать естественный разговорный интерфейс для ваших пользователей.

Примеры использования

Live API можно использовать для создания голосовых агентов в реальном времени для разных отраслей, в том числе:

• Электронная торговля и розничная торговля. Помощники по покупкам, которые предлагают персонализированные рекомендации, и агенты службы поддержки, которые решают проблемы клиентов.
• Игры. Интерактивные неигровые персонажи, помощники в игре и перевод игрового контента в реальном времени.
• Интерфейсы нового поколения. Голосовые и видеоинтерфейсы для роботов, умных очков и автомобилей.
• Здравоохранение. Помощники для пациентов, которые могут поддерживать и обучать их.
• Финансовые услуги. ИИ-консультанты по управлению капиталом и инвестициям.
• Образование. ИИ-наставники и помощники, которые предоставляют персонализированные инструкции и отзывы.
• Перевод и локализация. Перевод устной речи в реальном времени с низкой задержкой, позволяющий общаться на разных языках.
• Прямая расшифровка и субтитры. Преобразование речи в текст в реальном времени для создания субтитров, расшифровки встреч, голосового ввода и записи звонков клиентов.

Основные функции

Действующий API предлагает широкий набор функций для создания надежных голосовых агентов:

• Поддержка нескольких языков. Общайтесь на 70 поддерживаемых языках.
• Перебивание. Пользователи могут в любой момент прервать модель, чтобы получить ответ.
• Использование инструментов. Интегрирует такие инструменты, как вызов функций и Google Поиск, для динамического взаимодействия.
• Расшифровка аудио: предоставляет текстовую расшифровку как ввода данных пользователем, так и выходных данных модели.
• Проактивное аудио. Позволяет управлять тем, когда и в каких контекстах модель будет отвечать.
• Эмоциональный диалог. Стиль и тон ответа будут соответствовать выражению, использованному в запросе пользователя.
• Транскрипция в реальном времени: непрерывный поток преобразования речи в текст в реальном времени с автоматическим определением языка и пользовательским словарем.
• Мгновенный перевод – перевод речи на более чем 70 языков в реальном времени.

Технические требования

В таблице ниже приведены технические характеристики Live API.

Как реализовать отслеживание конверсий

При интеграции с Live API вам нужно будет выбрать один из следующих подходов к реализации:

• Сервер-сервер. Ваш сервер подключается к Live API с помощью WebSockets. Как правило, клиент отправляет данные трансляции (аудио, видео, текст) на ваш сервер, который затем пересылает их в Live API.
• Клиент-сервер. Код интерфейса напрямую подключается к Live API с помощью WebSockets для передачи данных, минуя внутренний сервер.

Начать

Выберите руководство, соответствующее вашей среде разработки: