عامل Gemini برای درک Turtlebot3

کاری که انجام می دهد

این برنامه از عاملی استفاده می‌کند که توسط Gemini پشتیبانی می‌شود تا موقعیت ربات turtlebot3 را بر روی یک شبکه 4×5 نظارت کند تا برای برنامه‌ریزی مسیر و ناوبری آینده خدمت کند. بر اساس برخی آزمایش‌های مربوط به قابلیت‌های چندوجهی Geimini، مشخص شد که تشخیص و مکان‌یابی شی چیزی نیست که آن را خارج از جعبه انجام دهد. به همین دلیل، تصمیم گرفتم یک مدل تخصصی (Grounding DINO) را به عنوان ابزاری ادغام کنم که می تواند به عامل Gemini کمک کند تا در تشخیص ربات بهتر عمل کند. هنگامی که ربات در شبکه شناسایی شد، می‌توانیم از نماینده کارهای پیچیده دیگری مانند برنامه‌ریزی مسیری برای انتقال ربات از یک مکان به مکان دیگر و حتی ارسال دستورات کنترلی برای اجرای مسیر با یکپارچه‌سازی پل ROS بخواهیم.