Robot umanoide Gemini

Descrizione

L'integrazione coinvolge diversi componenti chiave: il servizio chatbot, il bridge chatbot, il modulo di riconoscimento vocale e il modulo di dialogo. Il servizio di chatbot svolge un ruolo fondamentale perché gestisce l'intera cronologia dei dialoghi e genera risposte in base alle interazioni precedenti utilizzando il modello Gemini. Nello specifico, il modello Gemini Pro viene utilizzato per generare le risposte. Per colmare il divario di comunicazione tra diversi ambienti di programmazione, Chatbot Bridge utilizza ZeroMQ. Questo componente consente una comunicazione senza interruzioni tra il servizio chatbot e i moduli di estensione NaoQi. Il Modulo di riconoscimento vocale è responsabile dell'acquisizione dell'input audio dal microfono del robot utilizzando NaoQi ALAudioDevice. Le registrazioni audio vengono segmentate tramite soglie di volume. Queste registrazioni segmentate vengono poi inviate al servizio cloud di Google per l'analisi di conversione del parlato in testo. Se il parlato viene riconosciuto correttamente, il testo risultante viene inoltrato a Chatbot Bridge.
Il Modulo di dialogo trasforma le risposte di testo generate da Gemini in linguaggio parlato utilizzando NaoQi ALAnimatedSpeech. Questo modulo si coordina anche con il Modulo di riconoscimento vocale per mettere in pausa le registrazioni audio mentre il robot parla, garantendo un sistema di dialogo a turni in cui il robot ascolta e risponde alternativamente.