ตัวแทน Gemini สําหรับการรับรู้ของ Turtlebot3

การทำงาน

แอปใช้ตัวแทนที่ Gemini สนับสนุนเพื่อตรวจสอบตำแหน่งของหุ่นยนต์ Turtlebot3 ในตารางกริด 4x5 เพื่อให้ใช้วางแผนเส้นทางและนำทางในอนาคตได้ จากผลการทดสอบความสามารถแบบมัลติโมดของ Geimini พบว่าการตรวจจับวัตถุและตำแหน่งไม่ใช่สิ่งที่ Geimini ทำได้เลย ด้วยเหตุนี้ เราจึงตัดสินใจผสานรวมโมเดลเฉพาะ (Grounding DINO) เป็นเครื่องมือที่จะช่วยให้ตัวแทน Gemini ทำงานได้ดีขึ้นในการตรวจจับหุ่นยนต์ เมื่อตรวจพบหุ่นยนต์บนตารางกริดแล้ว เราสามารถขอให้ตัวแทนทำงานที่ซับซ้อนอื่นๆ เช่น วางแผนเส้นทางเพื่อย้ายหุ่นยนต์จากตำแหน่งหนึ่งไปยังอีกตำแหน่งหนึ่ง และแม้แต่ส่งคำสั่งควบคุมเพื่อดำเนินการตามเส้นทางด้วยการผสานรวม ROS Bridge