Turtlebot3 感知功能的 Gemini 代理程式

用途

這個應用程式會使用 Gemini 支援的代理程式，監控 4x5 格狀網格中 turtlebot3 機器人的所在位置，以利日後的路徑規劃和導航作業。根據對 Gemini 多模態功能的部分測試，物體偵測和位置功能並非開箱即用。因此，我決定整合專用模型 (Grounding DINO) 做為工具，協助 Gemini 代理程式提升機器人偵測效能。一旦在格狀圖中偵測到機器人，我們就可以要求機器人執行其他複雜任務，例如規劃路徑，將機器人從一個位置移動到另一個位置，甚至傳送控制指令，透過 ROS 橋接整合執行路徑。