Roboti Humanoid Binjakët

Çfarë bën

Integrimi përfshin disa komponentë kyç: Shërbimin Chatbot, Urën e Chatbot, Modulin e Njohjes së Fjalës dhe Modulin e Dialogut. Shërbimi Chatbot luan një rol vendimtar duke menaxhuar të gjithë historinë e dialogut dhe duke gjeneruar përgjigje bazuar në ndërveprimet e mëparshme duke përdorur modelin Gemini. Në mënyrë të veçantë, modeli Gemini-pro përdoret për të gjeneruar përgjigje. Për të kapërcyer hendekun e komunikimit midis mjediseve të ndryshme programimi, Ura Chatbot përdor ZeroMQ. Ky komponent mundëson komunikim të qetë midis Shërbimit Chatbot dhe moduleve shtesë NaoQi. Moduli i njohjes së të folurit është përgjegjës për kapjen e hyrjes audio nga mikrofoni i robotit duke përdorur pajisjen NaoQi ALAudio. Regjistrimet audio janë të segmentuara përmes pragut të volumit. Këto regjistrime të segmentuara dërgohen më pas në shërbimin cloud të Google për analizën e fjalës në tekst. Nëse fjalimi njihet me sukses, teksti që rezulton përcillet në Urën e Chatbot.
Moduli i Dialogut i transformon përgjigjet e tekstit të krijuara nga Binjakët në gjuhën e folur duke përdorur NaoQi ALAanimatedSpeech. Ky modul koordinohet gjithashtu me modulin e njohjes së të folurit për të ndërprerë regjistrimet audio ndërsa roboti është duke folur, duke siguruar një sistem dialogu të bazuar në kthesa ku roboti dëgjon dhe përgjigjet në mënyrë alternative.