Robot humanoïde Gemini

Description

L'intégration implique plusieurs composants clés: le service de chatbot, le pont de chatbot, le module de reconnaissance vocale et le module de dialogue. Le service de chatbot joue un rôle crucial en gérant l'ensemble de l'historique des dialogues et en générant des réponses en fonction des interactions précédentes à l'aide du modèle Gemini. Plus précisément, le modèle Gemini-pro est utilisé pour générer des réponses. Pour combler le fossé de communication entre les différents environnements de programmation, Chatbot Bridge utilise ZeroMQ. Ce composant permet une communication fluide entre le service de chatbot et les modules d'extension NaoQi. Le module de reconnaissance vocale est chargé de capturer l'entrée audio du micro du robot à l'aide de NaoQi ALAudioDevice. Les enregistrements audio sont segmentés en fonction du seuil de volume. Ces enregistrements segmentés sont ensuite envoyés au service cloud de Google pour l'analyse de la conversion de la parole en texte. Si la reconnaissance vocale aboutit, le texte obtenu est transmis au Chatbot Bridge.
Le module de dialogue transforme les réponses textuelles générées par Gemini en langage parlé à l'aide de NaoQi ALAnimatedSpeech. Ce module coordonne également le module de reconnaissance vocale pour suspendre les enregistrements audio lorsque le robot parle, ce qui garantit un système de dialogue par tour de parole où le robot écoute et répond alternativement.