الروبوت البشري Gemini

وظيفتها

يتضمّن الدمج عدة مكوّنات رئيسية: خدمة Chatbot وChatbot Bridge ووحدة التعرّف على الكلام ووحدة الحوار. تؤدي خدمة Chatbot دورًا مهمًا من خلال إدارة سجلّ المحادثات بالكامل وإنشاء الردود استنادًا إلى التفاعلات السابقة باستخدام نموذج Gemini. على وجه التحديد، يتم استخدام نموذج Gemini-pro لإنشاء الردود. لسد الفجوة في التواصل بين بيئات البرمجة المختلفة، يستخدم Chatbot Bridge حزمة ZeroMQ. يتيح هذا المكوّن التواصل السلس بين خدمة Chatbot ووحدات إضافة NaoQi. تتحمّل "وحدة التعرّف على الكلام" مسؤولية تسجيل الإدخال الصوتي من ميكروفون الروبوت باستخدام NaoQi ALAudioDevice. يتم تقسيم التسجيلات الصوتية من خلال تحديد حدّ أدنى لمستوى الصوت. بعد ذلك، يتم إرسال هذه التسجيلات المقسّمة إلى خدمة السحابة الإلكترونية من Google لتحليل الكلام إلى نص. إذا تم التعرّف على الكلام بنجاح، يتم إعادة توجيه النص الناتج إلى Chatbot Bridge.
تحوّل "وحدة الحوار" الردود النصية التي ينشئها Gemini إلى لغة منطوقة باستخدام NaoQi ALAnimatedSpeech. تتعاون هذه الوحدة أيضًا مع "وحدة التعرّف على الكلام" لإيقاف التسجيلات الصوتية مؤقتًا أثناء حديث الروبوت، ما يضمن نظام حوار بالتناوب حيث يستمع الروبوت ويردّ بالتبادل.