Turtlebot3 知覚用の Gemini エージェント

機能

このアプリは、Gemini をベースとするエージェントを使用して、4x5 グリッド上の turtlebot3 ロボットの位置をモニタリングし、将来のパス計画とナビゲーションに使用します。Gemini のマルチモーダル機能のテストでは、オブジェクト検出と位置情報は、すぐには行えないことが明らかになりました。そのため、Gemini エージェントがロボットの検出をより効果的に行うためのツールとして、専用のモデル（Grounding DINO）を統合することにしました。グリッド上でロボットが検出されると、エージェントに他の複雑なタスクを依頼できます。たとえば、ロボットをある場所から別の場所に移動するためのパスを計画したり、ROS ブリッジ統合を使用してパスを実行するための制御コマンドを送信したりできます。