Агент Gemini для восприятия Turtlebot3

Что он делает

Приложение использует агента, поддерживаемого Gemini, для отслеживания местоположения робота turtlebot3 на сетке 4x5, чтобы он служил для будущего планирования пути и навигации. На основе некоторых испытаний мультимодальных возможностей Geimini стало ясно, что обнаружение и определение местоположения объектов — это не то, что он может делать из коробки. По этой причине я решил интегрировать специализированную модель (Grounding DINO) в качестве инструмента, который может помочь агенту Gemini лучше выполнять обнаружение роботов. Как только робот обнаружен на сетке, мы можем попросить агента выполнить другие сложные задачи, такие как планирование пути для перемещения робота из одного места в другое и даже отправлять команды управления для выполнения пути с интеграцией моста ROS.