Gemini İnsansı Robot

Ne işe yarar?

Entegrasyon, sohbet robotu hizmeti, sohbet robotu köprüsü, konuşma tanıma modülü ve diyalog modülü gibi birkaç temel bileşenden oluşur. Chatbot Hizmeti, tüm diyalog geçmişini yöneterek ve Gemini modelini kullanarak önceki etkileşimlere dayalı yanıtlar oluşturarak önemli bir rol oynar. Özellikle yanıt oluşturmak için Gemini-pro modeli kullanılır. Chatbot Köprüsü, farklı programlama ortamları arasındaki iletişim açığını kapatmak için ZeroMQ'yı kullanır. Bu bileşen, Chatbot Hizmeti ile NaoQi uzantı modülleri arasında sorunsuz iletişim sağlar. Konuşma Tanıma Modülü, NaoQi ALAudioDevice'ı kullanarak robotun mikrofonundan ses girişini yakalamaktan sorumludur. Ses kayıtları ses eşiği kullanılarak segmentlere ayrılır. Bu segmentlere ayrılmış kayıtlar daha sonra konuşma metne dönüştürme analizi için Google'ın bulut hizmetine gönderilir. Konuşma başarıyla tanınırsa ortaya çıkan metin Chatbot Köprüsü'ne yönlendirilir.
Sohbet modülü, NaoQi ALAnimatedSpeech'i kullanarak Gemini tarafından oluşturulan metin yanıtlarını konuşma diline dönüştürür. Bu modül, robot konuşurken ses kayıtlarını duraklatmak için Konuşma Tanıma Modülü ile de koordinasyon sağlar. Böylece robotun sırayla dinleyip yanıt verdiği sıra tabanlı bir diyalog sistemi sağlanır.