Robot Humanoid Gemini

Fungsinya

Integrasi ini melibatkan beberapa komponen utama: Layanan Chatbot, Jembatan Chatbot, Modul Pengenalan Ucapan, dan Modul Dialog. Layanan Chatbot memainkan peran penting dengan mengelola seluruh histori dialog dan menghasilkan respons berdasarkan interaksi sebelumnya menggunakan model Gemini. Secara khusus, model Gemini-pro digunakan untuk menghasilkan respons. Untuk menjembatani kesenjangan komunikasi antara berbagai lingkungan pemrograman, Jembatan Chatbot menggunakan ZeroMQ. Komponen ini memungkinkan komunikasi yang lancar antara Layanan Chatbot dan modul ekstensi NaoQi. Modul Pengenalan Ucapan bertanggung jawab untuk mengambil input audio dari mikrofon robot menggunakan NaoQi ALAudioDevice. Rekaman audio disegmentasikan melalui volume minimum. Rekaman yang tersegmentasi ini kemudian dikirim ke layanan cloud Google untuk analisis ucapan ke teks. Jika ucapan berhasil dikenali, teks yang dihasilkan akan diteruskan ke Jembatan Chatbot.
Modul Dialog mengubah respons teks yang dihasilkan oleh Gemini menjadi bahasa lisan menggunakan NaoQi ALAnimatedSpeech. Modul ini juga berkoordinasi dengan Modul Pengenalan Ucapan untuk menjeda rekaman audio saat robot berbicara, sehingga memastikan sistem dialog berbasis giliran tempat robot mendengarkan dan merespons secara bergantian.