Turtlebot3 인식을 위한 Gemini 에이전트

기능

이 앱은 Gemini를 기반으로 하는 에이전트를 사용하여 향후 경로 계획 및 탐색에 사용할 수 있도록 4x5 그리드에서 turtlebot3 로봇의 위치를 모니터링합니다. Geimini의 멀티모달 기능에 대한 몇 가지 테스트를 통해 객체 감지 및 위치는 즉시 사용할 수 있는 기능이 아님이 분명해졌습니다. 따라서 Gemini 상담사가 로봇 감지를 더 효과적으로 수행하는 데 도움이 되는 도구로 특수 모델 (Grounding DINO)을 통합하기로 했습니다. 로봇이 그리드에서 감지되면 에이전트에게 로봇을 한 위치에서 다른 위치로 이동하는 경로를 계획하는 등의 다른 복잡한 작업을 요청할 수 있으며, ROS 브리지 통합을 통해 경로를 실행하는 제어 명령을 전송할 수도 있습니다.