רובוט הומנואיד של Gemini

תיאור

השילוב כולל כמה רכיבים מרכזיים: שירות הצ'אטבוט, גשר הצ'אטבוט, מודול זיהוי הדיבור ומודול הדיאלוג. שירות הצ'אטבוט ממלא תפקיד חיוני: הוא מנהל את כל היסטוריית הדיאלוג ויוצר תשובות על סמך אינטראקציות קודמות באמצעות מודל Gemini. באופן ספציפי, המודל Gemini-pro משמש ליצירת תשובות. כדי לגשר על פער התקשורת בין סביבות תכנות שונות, ב-Chatbot Bridge נעשה שימוש ב-ZeroMQ. הרכיב הזה מאפשר תקשורת חלקה בין שירות ה-Chatbot לבין מודולי התוספים של NaoQi. מודול זיהוי הדיבור אחראי על תיעוד קלט האודיו מהמיקרופון של הרובוט באמצעות NaoQi ALAudioDevice. הקלטות האודיו מחולקות לקטעים לפי ערכי סף של עוצמת הקול. לאחר מכן, ההקלטות המפולחות האלה נשלחות לשירות הענן של Google לצורך ניתוח של דיבור לטקסט. אם המערכת מזהה את הדיבור, הטקסט שנוצר מועבר ל-Chatbot Bridge.
מודול הדיאלוג ממיר את תשובות הטקסט שנוצרו על ידי Gemini לשפה מדוברת באמצעות NaoQi ALAnimatedSpeech. המודול הזה גם מתואם עם מודול זיהוי הדיבור כדי להשהות את הקלטות האודיו בזמן שהרובוט מדבר, וכך להבטיח מערכת דיאלוג מבוססת-תור שבה הרובוט מקשיב ומגיב לסירוגין.