适用于 Turtlebot3 感知的 Gemini 代理

作用

该应用使用由 Gemini 支持的代理来监控 turtlebot3 机器人在 4x5 网格中的位置，以便用于未来的路径规划和导航。通过对 Geimini 多模态功能进行一些测试，我们发现它无法直接执行对象检测和定位。因此，我决定集成一个专用模型（Grounding DINO），将其用作一种工具，帮助 Gemini 代理更好地检测机器人。在网格上检测到机器人后，我们可以要求代理执行其他复杂任务，例如规划从一个位置移动到另一个位置的路径，甚至发送控制命令以通过 ROS 桥接集成来执行路径。