Turtlebot3 algılaması için Gemini aracısı

Ne işe yarar?

Uygulama, gelecekteki yol planlaması ve navigasyon için bir turtlebot3 robotunun 4x5 ızgaradaki konumunu izlemek amacıyla Gemini tarafından desteklenen bir aracı kullanır. Geimini'nin çoklu formatlı özelliklerinin bazı testlerine göre, nesne algılama ve konumun kutudan çıkar çıkmaz yapabileceği bir şey olmadığı açıktı. Bu nedenle, Gemini temsilcisinin robot algılamada daha iyi performans göstermesine yardımcı olabilecek bir araç olarak özel bir model (Grounding DINO) entegre etmeye karar verdim. Robot ızgara üzerinde algılandıktan sonra, robotu bir konumdan başka bir konuma taşımak için bir yol planlama gibi karmaşık görevleri aracıya sorabilir ve hatta ROS köprü entegrasyonuyla yolu yürütmek için kontrol komutları gönderebiliriz.