Agen Gemini untuk persepsi Turtlebot3

Fungsinya

Aplikasi ini menggunakan agen yang didukung oleh Gemini untuk memantau lokasi robot turtlebot3 pada petak 4x5 sehingga dapat digunakan untuk perencanaan dan navigasi jalur di masa mendatang. Berdasarkan beberapa pengujian kemampuan multimodal Geimini, jelas bahwa deteksi objek dan lokasi bukanlah sesuatu yang dapat dilakukan secara langsung. Oleh karena itu, saya memutuskan untuk mengintegrasikan model khusus (Grounding DINO) sebagai alat yang dapat membantu agen Gemini berperforma lebih baik dalam mendeteksi robot. Setelah robot terdeteksi di petak, kita dapat meminta agen untuk melakukan tugas kompleks lainnya seperti merencanakan jalur untuk memindahkan robot dari satu lokasi ke lokasi lain, dan bahkan mengirim perintah kontrol untuk mengeksekusi jalur dengan integrasi jembatan ROS.