Robot humanoide Gemini

Qué hace

La integración incluye varios componentes clave: el servicio de chatbot, el puente de chatbot, el módulo de reconocimiento de voz y el módulo de diálogo. El servicio de chatbot desempeña un papel fundamental, ya que administra todo el historial de diálogo y genera respuestas basadas en interacciones anteriores con el modelo de Gemini. Específicamente, se usa el modelo Gemini-pro para generar respuestas. Para cerrar la brecha de comunicación entre diferentes entornos de programación, el puente de Chatbot utiliza ZeroMQ. Este componente permite una comunicación fluida entre el servicio de chatbot y los módulos de extensión de NaoQi. El módulo de reconocimiento de voz es responsable de capturar la entrada de audio del micrófono del robot con el ALAudioDevice de NaoQi. Las grabaciones de audio se segmentan mediante umbrales de volumen. Luego, estas grabaciones segmentadas se envían al servicio en la nube de Google para el análisis de voz a texto. Si se reconoce correctamente la voz, el texto resultante se reenvía al puente de chatbot.
El módulo de diálogo transforma las respuestas de texto que genera Gemini en lenguaje hablado con NaoQi ALAnimatedSpeech. Este módulo también se coordina con el módulo de reconocimiento de voz para pausar las grabaciones de audio mientras el robot habla, lo que garantiza un sistema de diálogo por turnos en el que el robot escucha y responde de forma alterna.