ربات انسان نما جمینی

کاری که انجام می دهد

ادغام شامل چندین مؤلفه کلیدی است: سرویس چت بات، پل چت بات، ماژول تشخیص گفتار و ماژول گفتگو. سرویس چت بات با مدیریت کل تاریخچه گفتگو و ایجاد پاسخ بر اساس تعاملات قبلی با استفاده از مدل جمینی، نقش مهمی ایفا می کند. به طور خاص، مدل Gemini-pro برای تولید پاسخ استفاده می شود. برای پر کردن شکاف ارتباطی بین محیط های برنامه نویسی مختلف، Chatbot Bridge از ZeroMQ استفاده می کند. این مؤلفه ارتباط یکپارچه بین سرویس Chatbot و ماژول های توسعه NaoQi را امکان پذیر می کند. ماژول تشخیص گفتار وظیفه گرفتن ورودی صوتی از میکروفون ربات با استفاده از NaoQi ALAudioDevice است. صداهای ضبط شده از طریق آستانه صدا تقسیم می شوند. سپس این ضبط‌های تقسیم‌بندی شده برای تجزیه و تحلیل گفتار به متن به سرویس ابری Google ارسال می‌شوند. اگر گفتار با موفقیت شناسایی شود، متن به دست آمده به پل چت بات فرستاده می شود.
ماژول گفتگو پاسخ های متنی تولید شده توسط Gemini را با استفاده از NaoQi ALAnimatedSpeech به زبان گفتاری تبدیل می کند. این ماژول همچنین با ماژول تشخیص گفتار هماهنگ می شود تا ضبط های صوتی را در حین صحبت کردن ربات متوقف کند و از یک سیستم گفتگوی نوبتی اطمینان حاصل کند که ربات به طور متناوب گوش می دهد و پاسخ می دهد.