Agjent i Binjakëve për perceptimin e Turtlebot3

Çfarë bën

Aplikacioni përdor një agjent të mbështetur nga Gemini për të monitoruar vendndodhjen e një roboti turtlebot3 në një rrjet 4x5 në mënyrë që të shërbejë për planifikimin dhe navigimin e rrugës në të ardhmen. Bazuar në disa testime të aftësive multimodale të Geimini-t, ishte e qartë se zbulimi dhe vendndodhja e objektit nuk është diçka që ai mund ta bëjë jashtë kutisë. Për këtë arsye, vendosa të integroj një model të specializuar (Grounding DINO) si një mjet që mund të ndihmojë agjentin Gemini të performojë më mirë në zbulimin e robotëve. Pasi roboti të zbulohet në rrjet, ne mund t'i kërkojmë agjentit detyra të tjera komplekse, si planifikimi i një shteg për të lëvizur robotin nga një vend në tjetrin dhe madje të dërgojmë komanda kontrolli për të ekzekutuar shtegun me integrimin e urës ROS.