Agente Gemini per la percezione di Turtlebot3

Descrizione

L'app utilizza un agente supportato da Gemini per monitorare la posizione di un robot turtlebot3 su una griglia 4x5 in modo che possa essere utilizzato per la pianificazione e la navigazione futura dei percorsi. In base ad alcuni test delle funzionalità multimodali di Geimini, è emerso chiaramente che il rilevamento degli oggetti e la posizione non sono funzionalità disponibili immediatamente. Per questo motivo, ho deciso di integrare un modello specializzato (Grounding DINO) come strumento che può aiutare l'agente Gemini a migliorare il rilevamento dei robot. Una volta rilevato il robot sulla griglia, possiamo chiedere all'agente altre attività complesse, come pianificare un percorso per spostare il robot da una posizione all'altra e persino inviare comandi di controllo per eseguire il percorso con l'integrazione del bridge ROS.