Turtlebot3 पर काम करने वाले Gemini एजेंट के लिए, परसेप्शन

यह क्या करता है

यह ऐप्लिकेशन, Gemini के साथ काम करने वाले एजेंट का इस्तेमाल करके, 4x5 ग्रिड पर turtlebot3 रोबोट की जगह की निगरानी करता है. इससे, आने वाले समय में रास्ते की योजना बनाने और नेविगेशन के लिए मदद मिलती है. Geimini की कई मोड वाली सुविधाओं की कुछ जांच के आधार पर, यह साफ़ तौर पर पता चला था कि ऑब्जेक्ट का पता लगाने और जगह की जानकारी देने की सुविधा, Geimini में पहले से मौजूद नहीं है. इसलिए, मैंने एक खास मॉडल (Grounding DINO) को टूल के तौर पर इंटिग्रेट करने का फ़ैसला लिया. इससे Gemini एजेंट को रोबोट की पहचान करने में बेहतर तरीके से मदद मिल सकती है. ग्रिड पर रोबोट का पता चलने के बाद, हम एजेंट से दूसरे मुश्किल काम करने के लिए कह सकते हैं. जैसे, रोबोट को एक जगह से दूसरी जगह ले जाने के लिए पाथ प्लान करना. इसके अलावा, ROS ब्रिज इंटिग्रेशन की मदद से पाथ को लागू करने के लिए, कंट्रोल कमांड भी भेजे जा सकते हैं.