Agente de Gemini para la percepción de Turtlebot3
Mejoras en las capacidades visuales de Gemini con el dinosaurio de puesta a tierra
Qué hace
La app usa un agente respaldado por Gemini para supervisar la ubicación de un robot turtlebot3 en una cuadrícula de 4 × 5 para que sirva para la planificación y navegación de rutas futuras. En función de algunas pruebas de las capacidades multimodales de Geimini, quedó claro que la detección y la ubicación de objetos no son algo que pueda hacer de forma predeterminada. Por esa razón, decidí integrar un modelo especializado (Grounding DINO) como una herramienta que pueda ayudar al agente de Gemini a tener un mejor rendimiento en la detección de robots. Una vez que se detecta el robot en la cuadrícula, podemos pedirle al agente otras tareas complejas, como planificar una ruta para mover el robot de una ubicación a otra y hasta enviar comandos de control para ejecutar la ruta con la integración del puente ROS.
Con la tecnología de
- Vertex AI
Equipo
De
bracavisionai
De
Estados Unidos