Agent Gemini pour la perception Turtlebot3

Description

L'application utilise un agent compatible avec Gemini pour surveiller l'emplacement d'un robot turtlebot3 sur une grille de 4 x 5 afin de planifier et de naviguer plus tard. Après avoir testé les fonctionnalités multimodales de Gemini, il est clair que la détection et la localisation d'objets ne sont pas des fonctionnalités prêtes à l'emploi. C'est pourquoi j'ai décidé d'intégrer un modèle spécialisé (Grounding DINO) en tant qu'outil pouvant aider l'agent Gemini à mieux détecter les robots. Une fois le robot détecté sur la grille, nous pouvons lui demander d'autres tâches complexes, comme planifier un parcours pour déplacer le robot d'un endroit à un autre, et même envoyer des commandes de contrôle pour exécuter le parcours avec l'intégration du pont ROS.