Detyra MediaPipe Hand Landmarker ju lejon të zbuloni pikat referuese të duarve në një imazh. Ju mund ta përdorni këtë detyrë për të gjetur pikat kyçe të duarve dhe për të dhënë efekte vizuale mbi to. Kjo detyrë funksionon në të dhënat e imazhit me një model të mësimit të makinerive (ML) si të dhëna statike ose një rrymë të vazhdueshme dhe nxjerr pikat referuese të dorës në koordinatat e imazhit, pikat referuese të dorës në koordinatat botërore dhe aftësinë e dorës (e majta/djathtas) e duarve të shumta të zbuluara.
Filloni
Filloni ta përdorni këtë detyrë duke ndjekur një nga këto udhëzues zbatimi për platformën tuaj të synuar. Këta udhëzues specifikë të platformës ju përcjellin një zbatim bazë të kësaj detyre, duke përfshirë një model të rekomanduar dhe shembull kodi me opsionet e rekomanduara të konfigurimit:
- Android - Shembull kodi
- Python - Shembull kodi
- Web - Shembull Kodi - Udhëzues
Detajet e detyrës
Ky seksion përshkruan aftësitë, hyrjet, daljet dhe opsionet e konfigurimit të kësaj detyre.
Veçoritë
- Përpunimi i imazhit në hyrje - Përpunimi përfshin rrotullimin e imazhit, ndryshimin e madhësisë, normalizimin dhe konvertimin e hapësirës së ngjyrave.
- Pragu i rezultatit - Filtro rezultatet bazuar në rezultatet e parashikimit.
| Hyrjet e detyrave | Rezultatet e detyrave |
|---|---|
Shënuesi i dorës pranon një hyrje të një prej llojeve të të dhënave të mëposhtme:
| Shënuesi i dorës nxjerr rezultatet e mëposhtme:
|
Opsionet e konfigurimeve
Kjo detyrë ka opsionet e mëposhtme të konfigurimit:
| Emri i opsionit | Përshkrimi | Gama e vlerave | Vlera e paracaktuar |
|---|---|---|---|
running_mode | Vendos modalitetin e ekzekutimit për detyrën. Ekzistojnë tre mënyra: IMAGE: Modaliteti për hyrjet e një imazhi të vetëm. VIDEO: Modaliteti për kornizat e dekoduara të një videoje. LIVE_STREAM: Modaliteti për një transmetim të drejtpërdrejtë të të dhënave hyrëse, si p.sh. nga një aparat fotografik. Në këtë modalitet, resultListener duhet të thirret për të vendosur një dëgjues për të marrë rezultatet në mënyrë asinkrone. | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_hands | Numri maksimal i duarve të zbuluara nga detektori i pikës referuese Hand. | Any integer > 0 | 1 |
min_hand_detection_confidence | Rezultati minimal i besimit për zbulimin e dorës për t'u konsideruar i suksesshëm në modelin e zbulimit të pëllëmbës. | 0.0 - 1.0 | 0.5 |
min_hand_presence_confidence | Rezultati minimal i besimit për rezultatin e pranisë së dorës në modelin e zbulimit të pikës referimi me dorë. Në modalitetin "Video" dhe "Transmetimi i drejtpërdrejtë", nëse rezultati i besueshmërisë së pranisë së dorës nga modeli i pikës së dorës është nën këtë prag, "Shënuesi i dorës" aktivizon modelin e zbulimit të pëllëmbës. Përndryshe, një algoritëm i lehtë i gjurmimit të dorës përcakton vendndodhjen e dorës(ave) për zbulimet e mëvonshme të pikës referimi. | 0.0 - 1.0 | 0.5 |
min_tracking_confidence | Rezultati minimal i besimit që gjurmimi i dorës të konsiderohet i suksesshëm. Ky është pragu kufizues IoU i kutisë midis duarve në kuadrin aktual dhe kuadrit të fundit. Në modalitetin "Video" dhe "Transmetim" të "Hand Landmarker", nëse gjurmimi dështon, Hand Landmarker aktivizon zbulimin me dorë. Përndryshe, ai anashkalon zbulimin e dorës. | 0.0 - 1.0 | 0.5 |
result_callback | Vendos dëgjuesin e rezultateve që të marrë rezultatet e zbulimit në mënyrë asinkrone kur pikë referimi është në modalitetin e transmetimit të drejtpërdrejtë. Zbatohet vetëm kur modaliteti i ekzekutimit është caktuar në LIVE_STREAM | N/A | N/A |
Modelet
Hand Landmarker përdor një paketë modeli me dy modele të paketuara: një model zbulimi me pëllëmbë dhe një model për zbulimin e pikave referuese me dorë. Ju duhet një paketë modeli që përmban të dy këto modele për të ekzekutuar këtë detyrë.
| Emri i modelit | Forma e hyrjes | Lloji i kuantizimit | Kartelë model | Versionet |
|---|---|---|---|---|
| Handlandmarker (i plotë) | 192 x 192, 224 x 224 | noton 16 | informacion | E fundit |
Pakoja e modelit të pikës së dorës zbulon lokalizimin e pikës kyçe të 21 koordinatave të kyçit të dorës brenda rajoneve të zbuluara të dorës. Modeli u trajnua në rreth 30 mijë imazhe të botës reale, si dhe disa modele të dorës sintetike të paraqitura mbi sfonde të ndryshme.
Paketa e modelit të pikës referuese të dorës përmban një model të zbulimit të pëllëmbës dhe një model të zbulimit të pikave referuese të dorës. Modeli i zbulimit të pëllëmbës i lokalizon duart brenda imazhit të hyrjes dhe modeli i zbulimit të pikave referuese të dorës identifikon pika referimi specifike të dorës në imazhin e dorës së prerë të përcaktuar nga modeli i zbulimit të pëllëmbës.
Meqenëse ekzekutimi i modelit të zbulimit të pëllëmbës kërkon shumë kohë, kur është në modalitetin e ekzekutimit me video ose transmetim të drejtpërdrejtë, Hand Landmarker përdor kutinë kufizuese të përcaktuar nga modeli i shenjave të dorës në një kornizë për të lokalizuar rajonin e duarve për kuadrot e mëvonshme. Hand Landmarker ri-aktivizon modelin e zbulimit të pëllëmbës vetëm nëse modeli i shenjave të dorës nuk identifikon më praninë e duarve ose nuk arrin të gjurmojë duart brenda kornizës. Kjo zvogëlon numrin e herëve që Hand Landmarker vendos modelin e zbulimit të pëllëmbës.
Standardet e detyrave
Këtu janë standardet e detyrave për të gjithë tubacionin bazuar në modelet e mësipërme të para-trajnuara. Rezultati i vonesës është vonesa mesatare në Pixel 6 duke përdorur CPU / GPU.
| Emri i modelit | Vonesa e CPU-së | Vonesa e GPU-së |
|---|---|---|
| Handlandmarker (i plotë) | 17.12 ms | 12.27 ms |