জেমিনি হিউম্যানয়েড রোবট

এটা কি করে

ইন্টিগ্রেশনে বেশ কিছু মূল উপাদান রয়েছে: চ্যাটবট সার্ভিস, চ্যাটবট ব্রিজ, স্পিচ রিকগনিশন মডিউল এবং ডায়ালগ মডিউল। চ্যাটবট পরিষেবা পুরো সংলাপের ইতিহাস পরিচালনা করে এবং মিথুন মডেল ব্যবহার করে পূর্ববর্তী মিথস্ক্রিয়াগুলির উপর ভিত্তি করে প্রতিক্রিয়া তৈরি করে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। বিশেষত, জেমিনি-প্রো মডেলটি প্রতিক্রিয়া তৈরি করতে ব্যবহৃত হয়। বিভিন্ন প্রোগ্রামিং পরিবেশের মধ্যে যোগাযোগের ব্যবধান পূরণ করতে, চ্যাটবট সেতু ZeroMQ ব্যবহার করে। এই উপাদানটি চ্যাটবট পরিষেবা এবং NaoQi এক্সটেনশন মডিউলগুলির মধ্যে বিরামহীন যোগাযোগ সক্ষম করে৷ স্পিচ রিকগনিশন মডিউলটি NaoQi ALAudioDevice ব্যবহার করে রোবটের মাইক্রোফোন থেকে অডিও ইনপুট ক্যাপচার করার জন্য দায়ী। অডিও রেকর্ডিং ভলিউম থ্রেশহোল্ডিং মাধ্যমে বিভক্ত করা হয়. এই সেগমেন্টেড রেকর্ডিংগুলি তারপর স্পিচ-টু-টেক্সট বিশ্লেষণের জন্য Google-এর ক্লাউড পরিষেবাতে পাঠানো হয়। যদি বক্তৃতাটি সফলভাবে স্বীকৃত হয়, ফলস্বরূপ পাঠ্যটি চ্যাটবট ব্রিজে ফরোয়ার্ড করা হয়।
ডায়ালগ মডিউল NaoQi ALANimated Speech ব্যবহার করে Gemini দ্বারা উত্পন্ন পাঠ্য প্রতিক্রিয়াগুলিকে কথ্য ভাষায় রূপান্তরিত করে। এই মডিউলটি স্পীচ রিকগনিশন মডিউলের সাথেও সমন্বয় করে যাতে রোবট কথা বলার সময় অডিও রেকর্ডিংকে বিরতি দেয়, একটি টার্ন-ভিত্তিক ডায়ালগ সিস্টেম নিশ্চিত করে যেখানে রোবট পর্যায়ক্রমে শোনে এবং প্রতিক্রিয়া জানায়।