Робот-гуманоид «Джемини»

Что он делает

Интеграция включает в себя несколько ключевых компонентов: Chatbot Service, Chatbot Bridge, Speech Recognition Module и Dialogue Module. Chatbot Service играет важную роль, управляя всей историей диалога и генерируя ответы на основе предыдущих взаимодействий с использованием модели Gemini. В частности, для генерации ответов используется модель Gemini-pro. Чтобы преодолеть разрыв в общении между различными программными средами, Chatbot Bridge использует ZeroMQ. Этот компонент обеспечивает бесперебойную связь между Chatbot Service и модулями расширения NaoQi. Speech Recognition Module отвечает за захват аудиовхода с микрофона робота с помощью NaoQi ALAudioDevice. Аудиозаписи сегментируются с помощью порогового значения громкости. Затем эти сегментированные записи отправляются в облачный сервис Google для анализа речи в текст. Если речь успешно распознана, полученный текст пересылается в Chatbot Bridge.
Модуль диалога преобразует текстовые ответы, сгенерированные Gemini, в устную речь с помощью NaoQi ALAnimatedSpeech. Этот модуль также координируется с модулем распознавания речи, чтобы приостанавливать аудиозаписи, пока робот говорит, обеспечивая пошаговую диалоговую систему, в которой робот слушает и отвечает попеременно.