סוכן Gemini לתפיסה של Turtlebot3

תיאור

האפליקציה משתמשת בסוכנות שמגובת על ידי Gemini כדי לעקוב אחרי המיקום של רובוט turtlebot3 בתצוגת רשת של 4x5, כדי לשמש לתכנון נתיב ולניווט עתידיים. על סמך בדיקות מסוימות של היכולות של Geimini לזיהוי אובייקטים ומיקום, היה ברור שהמערכת לא יכולה לבצע את הפעולות האלה מחוץ לקופסה. לכן, החלטתי לשלב מודל מיוחד (Grounding DINO) ככלי שיכול לעזור לסוכני Gemini לזהות רובוטים בצורה טובה יותר. אחרי שהרובוט מזוהה ברשת, אפשר לבקש מהסוכן לבצע משימות מורכבות אחרות, כמו לתכנן נתיב להעברת הרובוט ממיקום אחד למיקום אחר, ואפילו לשלוח פקודות בקרה להפעלת הנתיב באמצעות שילוב של ROS bridge.