หุ่นยนต์ฮิวแมนนอยด์ Gemini

การทำงาน

การผสานรวมนี้เกี่ยวข้องกับองค์ประกอบหลักหลายอย่าง ได้แก่ บริการแชทบ็อต บริดจ์แชทบ็อต โมดูลการจดจําคําพูด และโมดูลการสนทนา บริการแชทบ็อตมีบทบาทสําคัญในการจัดการประวัติการสนทนาทั้งหมดและสร้างคําตอบตามการโต้ตอบก่อนหน้านี้โดยใช้โมเดล Gemini โดยเฉพาะอย่างยิ่งจะใช้โมเดล Gemini-pro ในการสร้างคำตอบ Chatbot Bridge ใช้ ZeroMQ เพื่อเชื่อมช่องว่างการสื่อสารระหว่างสภาพแวดล้อมการเขียนโปรแกรมที่แตกต่างกัน คอมโพเนนต์นี้ช่วยให้บริการแชทบ็อตและโมดูลส่วนขยาย NaoQi สื่อสารกันได้อย่างราบรื่น โมดูลการจดจำคำพูดมีหน้าที่รับอินพุตเสียงจากไมโครโฟนของหุ่นยนต์โดยใช้ NaoQi ALAudioDevice ระบบจะแบ่งกลุ่มไฟล์บันทึกเสียงตามเกณฑ์ระดับเสียง จากนั้นระบบจะส่งไฟล์บันทึกเสียงที่แบ่งออกเป็นส่วนๆ เหล่านี้ไปยังบริการระบบคลาวด์ของ Google เพื่อการวิเคราะห์คำพูดเป็นข้อความ หากระบบจดจำคำพูดได้สำเร็จ ระบบจะส่งต่อข้อความที่ได้ไปยัง Chatbot Bridge
โมดูลการสนทนาจะเปลี่ยนคำตอบที่เป็นข้อความที่ Gemini สร้างขึ้นให้เป็นภาษาพูดโดยใช้ NaoQi ALAnimatedSpeech โมดูลนี้ยังประสานงานกับโมดูลการจดจำคำพูดเพื่อหยุดการบันทึกเสียงชั่วคราวขณะที่หุ่นยนต์กำลังพูด เพื่อให้ระบบการสนทนาแบบผลัดกันพูดซึ่งหุ่นยนต์จะฟังและตอบกลับสลับกัน