Agente Gemini para percepção do Turtlebot3

O que faz?

O app usa um agente com suporte do Gemini para monitorar a localização de um robô turtlebot3 em uma grade 4x5, para que ele sirva para planejamento de trajeto e navegação futuros. Com base em alguns testes dos recursos multimodais do Geimini, ficou claro que a detecção e a localização de objetos não são algo que ele pode fazer imediatamente. Por esse motivo, decidi integrar um modelo especializado (Grounding DINO) como uma ferramenta que pode ajudar o agente Gemini a ter um desempenho melhor na detecção de robôs. Depois que o robô é detectado na grade, podemos pedir ao agente outras tarefas complexas, como planejar um caminho para mover o robô de um local para outro e até mesmo enviar comandos de controle para executar o caminho com a integração da ponte ROS.