وكيل Gemini لنظام Turtlebot3 للادراك

وظيفتها

يستخدم التطبيق وكيلاً مزوّدًا بخدمة Gemini لرصد الموقع الجغرافي للروبوت turtlebot3 على شبكة 4×5 حتى يتمكن من التخطيط للمسارات المستقبلية والتنقّل. استنادًا إلى بعض الاختبارات التي أجريناها على إمكانات Geimini المتعددة الوسائط، تبيّن لنا أنّه لا يمكنه اكتشاف الأجسام وتحديد موقعها الجغرافي بشكل تلقائي. لهذا السبب، قرّرت دمج نموذج مخصّص (Grounding DINO) كأداة يمكن أن تساعد وكيل Gemini في تحقيق أداء أفضل في رصد الروبوتات. بعد رصد الروبوت على الشبكة، يمكننا أن نطلب من موظّف الدعم تنفيذ مهام معقدة أخرى، مثل تخطيط مسار لنقل الروبوت من موقع إلى آخر، وحتى إرسال أوامر التحكّم لتنفيذ المسار من خلال دمج جسر ROS.