Tugas MediaPipe Face Landmarker memungkinkan Anda mendeteksi penanda wajah dan ekspresi wajah dalam gambar dan video. Anda dapat menggunakan tugas ini untuk mengidentifikasi ekspresi wajah manusia, menerapkan filter dan efek wajah, serta membuat avatar virtual. Tugas ini menggunakan model machine learning (ML) yang dapat bekerja dengan satu gambar atau stream gambar berkelanjutan. Tugas ini menghasilkan penanda wajah 3 dimensi, skor bentuk campuran (koefisien yang mewakili ekspresi wajah) untuk menyimpulkan permukaan wajah yang mendetail secara real time, dan matriks transformasi untuk melakukan transformasi yang diperlukan untuk rendering efek.
Mulai
Mulai gunakan tugas ini dengan mengikuti salah satu panduan penerapan untuk platform target Anda. Panduan khusus platform ini akan memandu Anda dalam menerapkan dasar tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:
- Android - Contoh kode - Panduan
- Python - Contoh kode - Panduan
- Web - Contoh kode - Panduan
Detail tugas
Bagian ini menjelaskan kemampuan, input, output, dan opsi konfigurasi tugas ini.
Fitur
- Pemrosesan gambar input - Pemrosesan mencakup rotasi gambar, pengubahan ukuran, normalisasi, dan konversi ruang warna.
- Batas skor - Memfilter hasil berdasarkan skor prediksi.
| Input tugas | Output tugas |
|---|---|
Penanda Wajah menerima input salah satu jenis data berikut:
|
Penanda Wajah menampilkan hasil berikut:
|
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut:
| Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
|---|---|---|---|
running_mode |
Menetapkan mode berjalan untuk tugas. Ada tiga
mode: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
Jumlah maksimum wajah yang dapat dideteksi oleh FaceLandmarker. Smoothing hanya diterapkan jika num_faces ditetapkan ke 1.
|
Integer > 0 |
1 |
min_face_detection_confidence |
Skor keyakinan minimum untuk deteksi wajah agar dianggap berhasil. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
Skor keyakinan minimum skor kehadiran wajah dalam deteksi struktur wajah. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Skor keyakinan minimum agar pelacakan wajah dianggap berhasil. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
Apakah Penanda Wajah menghasilkan output campuran wajah. Bentuk campuran wajah digunakan untuk merender model wajah 3D. | Boolean |
False |
output_facial_transformation_matrixes |
Apakah FaceLandmarker menghasilkan matriks transformasi wajah. FaceLandmarker menggunakan matriks untuk mengubah penanda wajah dari model wajah kanonis menjadi wajah yang terdeteksi, sehingga pengguna dapat menerapkan efek pada tempat terkenal yang terdeteksi. | Boolean |
False |
result_callback |
Menetapkan pemroses hasil untuk menerima hasil penanda secara asinkron saat FaceLandmarker dalam mode live stream.
Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
ResultListener |
N/A |
Model
Face Landmarker menggunakan serangkaian model untuk memprediksi landmark wajah. Model pertama mendeteksi wajah, model kedua menemukan tempat terkenal pada wajah yang terdeteksi, dan model ketiga menggunakan tempat terkenal tersebut untuk mengidentifikasi fitur dan ekspresi wajah.
Model berikut dikemas bersama menjadi paket model yang dapat didownload:
- Model deteksi wajah: mendeteksi kehadiran wajah dengan beberapa tempat terkenal wajah yang penting.
- Model mesh wajah: menambahkan pemetaan wajah lengkap. Model ini menghasilkan perkiraan 478 penanda wajah 3 dimensi.
- Model prediksi Blendshape: menerima output dari model mesh wajah memprediksi 52 skor blendshape, yang merupakan koefisien yang mewakili ekspresi wajah yang berbeda.
Model deteksi wajah adalah model BlazeFace jarak pendek, detektor wajah yang ringan dan akurat yang dioptimalkan untuk inferensi GPU seluler. Untuk mengetahui informasi selengkapnya, lihat tugas Pendeteksi Wajah.
Gambar di bawah menunjukkan pemetaan lengkap tempat terkenal wajah dari output paket model.
Untuk tampilan penanda wajah yang lebih mendetail, lihat gambar ukuran penuh.
| Paket model | Bentuk input | Jenis data | Kartu Model | Versions |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
float 16 |
FaceDetector FaceMesh-V2 Blendshape |
Terbaru |