Gemini 擬真機器人

用途

整合作業涉及多個重要元件：Chatbot 服務、Chatbot Bridge、語音辨識模組和對話模組。聊天機器人服務扮演著重要的角色，它會管理整個對話記錄，並使用 Gemini 模型根據先前的互動生成回覆。具體來說，Gemini-pro 模型會用來產生回覆。為彌補不同程式設計環境之間的通訊差距，Chatbot Bridge 會使用 ZeroMQ。這個元件可讓 Chatbot 服務與 NaoQi 擴充模組之間的通訊順暢無阻。語音辨識模組會使用 NaoQi ALAudioDevice，擷取機器人麥克風的音訊輸入。系統會根據音量門檻分割音訊錄音檔。系統會將這些分段錄音傳送至 Google 的雲端服務，進行語音轉文字分析。如果系統成功辨識語音，系統會將產生的文字轉介給 Chatbot Bridge。
對話模組會使用 NaoQi ALAnimatedSpeech，將 Gemini 產生的文字回應轉換為語音。這個模組也會與語音辨識模組協調，在機器人說話時暫停錄音，確保機器人以輪流方式聽取和回應的對話系統。