Detyra MediaPipe Face Landmarker ju lejon të zbuloni pikat e referimit të fytyrës dhe shprehjet e fytyrës në imazhe dhe video. Mund ta përdorni këtë detyrë për të identifikuar shprehjet e fytyrës njerëzore, për të aplikuar filtra dhe efekte të fytyrës dhe për të krijuar avatarë virtualë. Kjo detyrë përdor modele të të mësuarit automatik (ML) që mund të funksionojnë me imazhe të vetme ose me një rrjedhë të vazhdueshme imazhesh. Detyra nxjerr pika referimi 3-dimensionale të fytyrës, rezultate të formës së përzierjes (koeficientë që përfaqësojnë shprehjet e fytyrës) për të nxjerrë sipërfaqe të detajuara të fytyrës në kohë reale dhe matrica transformimi për të kryer transformimet e kërkuara për renderimin e efekteve.
Filloni
Filloni ta përdorni këtë detyrë duke ndjekur një nga udhëzuesit e zbatimit për platformën tuaj të synuar. Këta udhëzues specifikë për platformën ju udhëzojnë përmes një zbatimi bazë të kësaj detyre, duke përfshirë një model të rekomanduar dhe një shembull kodi me opsione të rekomanduara konfigurimi:
- Android - Shembull kodi - Udhëzues
- Python - Shembull kodi - Udhëzues
- Ueb - Shembull Kodi - Udhëzues
Detajet e detyrës
Ky seksion përshkruan aftësitë, të dhënat hyrëse, të dhënat dalëse dhe opsionet e konfigurimit të kësaj detyre.
Karakteristikat
- Përpunimi i imazhit hyrës - Përpunimi përfshin rrotullimin e imazhit, ndryshimin e madhësisë, normalizimin dhe konvertimin e hapësirës së ngjyrave.
- Pragu i rezultatit - Filtroni rezultatet bazuar në rezultatet e parashikimit.
| Hyrjet e detyrave | Rezultatet e detyrave |
|---|---|
Shënuesi i Fytyrës pranon një hyrje të njërit prej llojeve të mëposhtme të të dhënave:
| Face Landmarker jep rezultatet e mëposhtme:
|
Opsionet e konfigurimit
Kjo detyrë ka opsionet e mëposhtme të konfigurimit:
| Emri i opsionit | Përshkrimi | Diapazoni i Vlerave | Vlera e parazgjedhur |
|---|---|---|---|
running_mode | Cakton modalitetin e ekzekutimit për detyrën. Ekzistojnë tre mënyra: IMAZH: Modaliteti për futjen e një imazhi të vetëm. VIDEO: Modaliteti për kuadrot e dekoduara të një videoje. LIVE_STREAM: Modaliteti për një transmetim të drejtpërdrejtë të të dhënave hyrëse, si p.sh. nga një kamera. Në këtë modalitet, duhet të thirret resultListener për të konfiguruar një dëgjues për të marrë rezultatet në mënyrë asinkrone. | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_faces | Numri maksimal i fytyrave që mund të zbulohen nga FaceLandmarker . Zbutja zbatohet vetëm kur num_faces është vendosur në 1. | Integer > 0 | 1 |
min_face_detection_confidence | Rezultati minimal i besimit që zbulimi i fytyrës të konsiderohet i suksesshëm. | Float [0.0,1.0] | 0.5 |
min_face_presence_confidence | Rezultati minimal i besimit të rezultatit të pranisë së fytyrës në zbulimin e pikave të referimit të fytyrës. | Float [0.0,1.0] | 0.5 |
min_tracking_confidence | Rezultati minimal i besimit që gjurmimi i fytyrës të konsiderohet i suksesshëm. | Float [0.0,1.0] | 0.5 |
output_face_blendshapes | Nëse Face Landmarker nxjerr forma të përziera të fytyrës. Format e përziera të fytyrës përdoren për renderimin e modelit 3D të fytyrës. | Boolean | False |
output_facial_transformation_matrixes | Nëse FaceLandmarker nxjerr matricën e transformimit të fytyrës. FaceLandmarker përdor matricën për të transformuar pikat e referimit të fytyrës nga një model kanonik i fytyrës në fytyrën e zbuluar, në mënyrë që përdoruesit të mund të aplikojnë efekte në pikat e referimit të zbuluara. | Boolean | False |
result_callback | Cakton dëgjuesin e rezultateve që të marrë rezultatet e landmarker në mënyrë asinkrone kur FaceLandmarker është në modalitetin e transmetimit të drejtpërdrejtë. Mund të përdoret vetëm kur modaliteti i ekzekutimit është vendosur në LIVE_STREAM | ResultListener | N/A |
Modele
Shënuesi i Fytyrës përdor një seri modelesh për të parashikuar pikat e referimit të fytyrave. Modeli i parë zbulon fytyrat, një model i dytë lokalizon pikat e referimit në fytyrat e zbuluara dhe një model i tretë i përdor këto pika referimi për të identifikuar tiparet dhe shprehjet e fytyrës.
Modelet e mëposhtme janë të paketuara së bashku në një pako modelesh që mund të shkarkohet:
- Modeli i zbulimit të fytyrës : zbulon praninë e fytyrave me disa pika kryesore referimi të fytyrës.
- Modeli i rrjetës së fytyrës : shton një hartëzim të plotë të fytyrës. Modeli jep një vlerësim të 478 pikave të referimit 3-dimensionale të fytyrës.
- Modeli i parashikimit të formës së përzier : merr rezultate nga modeli i rrjetës së fytyrës dhe parashikon 52 rezultate të formës së përzier, të cilat janë koeficientë që përfaqësojnë shprehjet e ndryshme të fytyrës.
Modeli i zbulimit të fytyrës është modeli me rreze të shkurtër BlazeFace , një detektor fytyre i lehtë dhe i saktë i optimizuar për nxjerrjen e përfundimeve të GPU-së mobile. Për më shumë informacion, shihni detyrën e Detektorit të Fytyrës .
Imazhi më poshtë tregon një hartëzim të plotë të pikave të referimit të fytyrës nga rezultati i paketës së modelit.
Për një pamje më të detajuar të pikave të referimit të fytyrës, shihni imazhin në madhësi të plotë .
| Paketa e modeleve | Forma e hyrjes | Lloji i të dhënave | Kartat e modelit | Versionet |
|---|---|---|---|---|
| FaceLandmarker | Detektor i fytyrës: 192 x 192 FaceMesh-V2: 256 x 256 Përzierje forme: 1 x 146 x 2 | noton 16 | Detektor i Fytyrës FaceMesh-V2 Blendshape | Më të fundit |