Tugas Face Landmarker MediaPipe memungkinkan Anda mendeteksi landmark wajah dan ekspresi wajah dalam gambar dan video. Anda dapat menggunakan tugas ini untuk mengidentifikasi ekspresi wajah manusia, menerapkan filter dan efek wajah, serta membuat avatar virtual. Tugas ini menggunakan model machine learning (ML) yang dapat memproses gambar tunggal atau aliran gambar berkelanjutan. Tugas ini menghasilkan penanda wajah 3 dimensi, skor blendshape (koefisien yang merepresentasikan ekspresi wajah) untuk menyimpulkan permukaan wajah yang mendetail secara real-time, dan matriks transformasi untuk melakukan transformasi yang diperlukan untuk rendering efek.
Mulai
Mulai gunakan tugas ini dengan mengikuti salah satu panduan penerapan untuk platform target Anda. Panduan khusus platform ini akan memandu Anda melakukan penerapan dasar tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:
- Android - Contoh kode - Panduan
- Python - Contoh kode - Panduan
- Web - Contoh kode - Panduan
Detail tugas
Bagian ini menjelaskan kemampuan, input, output, dan opsi konfigurasi tugas ini.
Fitur
- Pemrosesan gambar input - Pemrosesan mencakup rotasi, pengubahan ukuran, normalisasi, dan konversi ruang warna gambar.
- Nilai minimum skor - Memfilter hasil berdasarkan skor prediksi.
| Input tugas | Output tugas |
|---|---|
Face Landmarker menerima input salah satu jenis data berikut:
|
Face Landmarker menghasilkan hasil berikut:
|
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut:
| Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
|---|---|---|---|
running_mode |
Menetapkan mode berjalan untuk tugas. Ada tiga mode: GAMBAR: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses guna menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
Jumlah maksimum wajah yang dapat dideteksi oleh
FaceLandmarker. Perataan hanya diterapkan jika
num_faces disetel ke 1.
|
Integer > 0 |
1 |
min_face_detection_confidence |
Skor keyakinan minimum agar deteksi wajah dianggap berhasil. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
Skor keyakinan minimum skor kehadiran wajah dalam deteksi penanda wajah. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Skor keyakinan minimum agar pelacakan wajah dianggap berhasil. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
Apakah Face Landmarker menghasilkan bentuk campuran wajah. Blendshape wajah digunakan untuk merender model wajah 3D. | Boolean |
False |
output_facial_transformation_matrixes |
Apakah FaceLandmarker menghasilkan matriks transformasi wajah. FaceLandmarker menggunakan matriks untuk mengubah landmark wajah dari model wajah kanonis ke wajah yang terdeteksi, sehingga pengguna dapat menerapkan efek pada landmark yang terdeteksi. | Boolean |
False |
result_callback |
Menetapkan pemroses hasil untuk menerima hasil penanda lokasi
secara asinkron saat FaceLandmarker dalam mode live stream.
Hanya dapat digunakan jika mode operasi disetel ke LIVE_STREAM |
ResultListener |
N/A |
Model
Penanda Wajah menggunakan serangkaian model untuk memprediksi penanda wajah. Model pertama mendeteksi wajah, model kedua menemukan landmark pada wajah yang terdeteksi, dan model ketiga menggunakan landmark tersebut untuk mengidentifikasi fitur dan ekspresi wajah.
Model berikut dikemas bersama menjadi paket model yang dapat didownload:
- Model deteksi wajah: mendeteksi keberadaan wajah dengan beberapa landmark wajah utama.
- Model mesh wajah: menambahkan pemetaan wajah yang lengkap. Model menghasilkan perkiraan 478 penanda wajah 3 dimensi.
- Model prediksi blendshape: menerima output dari model mesh wajah, memprediksi 52 skor blendshape, yang merupakan koefisien yang merepresentasikan berbagai ekspresi wajah.
Model deteksi wajah adalah model BlazeFace jarak pendek, detektor wajah ringan dan akurat yang dioptimalkan untuk inferensi GPU seluler. Untuk mengetahui informasi selengkapnya, lihat tugas Face Detector.
Gambar di bawah menunjukkan pemetaan lengkap titik wajah dari output paket model.
Untuk melihat penanda wajah yang lebih mendetail, lihat gambar ukuran penuh.
| Paket model | Bentuk input | Jenis data | Kartu Model | Versi |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
float 16 |
FaceDetector FaceMesh-V2 Blendshape |
Terbaru |