Tác nhân Gemini cho nhận thức Turtlebot3

Ý nghĩa

Ứng dụng này sử dụng một tác nhân do Gemini hỗ trợ để theo dõi vị trí của robot turtlebot3 trên lưới 4x5 để phục vụ cho việc lập kế hoạch và điều hướng đường dẫn trong tương lai. Dựa trên một số thử nghiệm về các tính năng đa phương thức của Geimini, rõ ràng là tính năng phát hiện đối tượng và vị trí không phải là những tính năng mà Geimini có thể làm ngay từ đầu. Vì lý do đó, tôi quyết định tích hợp một mô hình chuyên biệt (Grounding DINO) làm công cụ có thể giúp tác nhân Gemini phát hiện robot hiệu quả hơn. Sau khi phát hiện robot trên lưới, chúng ta có thể yêu cầu tác nhân thực hiện các nhiệm vụ phức tạp khác như lập kế hoạch đường đi để di chuyển robot từ vị trí này sang vị trí khác và thậm chí gửi lệnh điều khiển để thực thi đường đi bằng cách tích hợp cầu ROS.