Agent Gemini do odbioru danych z Turtlebot3

Działanie

Aplikacja korzysta z agenta obsługiwanego przez Gemini do monitorowania lokalizacji robota turtlebot3 na siatce 4 x 5, aby służył do planowania ścieżki i nawigacji. Na podstawie testów możliwości multimodalnych Geimini okazało się, że wykrywanie obiektów i lokalizacja nie są funkcjami domyślnymi. Dlatego zdecydowałem się na zintegrowanie wyspecjalizowanego modelu (Grounding DINO) jako narzędzia, które może pomóc agentowi Gemini w lepszym wykrywaniu robotów. Gdy robot zostanie wykryty na siatce, możemy poprosić agenta o wykonanie innych skomplikowanych zadań, takich jak zaplanowanie ścieżki przemieszczania robota z jednej lokalizacji do drugiej, a nawet wysyłanie poleceń sterujących do wykonania ścieżki z integracją mostu ROS.