Gemini-Agent für die Wahrnehmung von Turtlebot3

Funktion

Die App verwendet einen von Gemini unterstützten Agenten, um den Standort eines TurtleBot3-Roboters in einem 4 × 5 m großen Raster zu überwachen, damit er für die zukünftige Routenplanung und Navigation verwendet werden kann. Bei einigen Tests der multimodalen Funktionen von Geimini wurde klar, dass die Objekterkennung und -lokalisierung nicht standardmäßig möglich sind. Aus diesem Grund habe ich ein spezielles Modell (Grounding DINO) als Tool integriert, mit dem der Gemini-Agent bei der Erkennung von Robotern besser abschneiden kann. Sobald der Roboter im Raster erkannt wurde, können wir den Bot um andere komplexe Aufgaben bitten, z. B. einen Weg zu planen, um den Roboter von einem Ort an einen anderen zu bewegen, und sogar Steuerbefehle senden, um den Weg mit der ROS-Bridge-Integration auszuführen.