Panduan deteksi penanda wajah

Tugas Penanda Wajah Wajah

Tugas MediaPipe Face Landmarker memungkinkan Anda mendeteksi penanda wajah dan ekspresi wajah dalam gambar dan video. Anda dapat menggunakan tugas ini untuk mengidentifikasi ekspresi wajah manusia, menerapkan filter dan efek wajah, serta membuat avatar virtual. Tugas ini menggunakan model machine learning (ML) yang dapat bekerja dengan satu gambar atau stream gambar berkelanjutan. Tugas ini menghasilkan penanda wajah 3 dimensi, skor bentuk campuran (koefisien yang mewakili ekspresi wajah) untuk menyimpulkan permukaan wajah yang mendetail secara real time, dan matriks transformasi untuk melakukan transformasi yang diperlukan untuk rendering efek.

Cobalah!

Mulai

Mulai gunakan tugas ini dengan mengikuti salah satu panduan penerapan untuk platform target Anda. Panduan khusus platform ini akan memandu Anda dalam menerapkan dasar tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:

Detail tugas

Bagian ini menjelaskan kemampuan, input, output, dan opsi konfigurasi tugas ini.

Fitur

  • Pemrosesan gambar input - Pemrosesan mencakup rotasi gambar, pengubahan ukuran, normalisasi, dan konversi ruang warna.
  • Batas skor - Memfilter hasil berdasarkan skor prediksi.
Input tugas Output tugas
Penanda Wajah menerima input salah satu jenis data berikut:
  • Gambar diam
  • Frame video yang didekode
  • Feed video live
 Penanda Wajah menampilkan hasil berikut:
  • Kotak pembatas untuk wajah yang terdeteksi dalam bingkai gambar.
  • Mesh wajah lengkap untuk setiap wajah yang terdeteksi, dengan skor Blendshape yang menunjukkan ekspresi wajah dan koordinat untuk struktur wajah.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
running_mode Menetapkan mode berjalan untuk tugas. Ada tiga mode:

IMAGE: Mode untuk input gambar tunggal.

VIDEO: Mode untuk frame video yang didekode.

LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang menerima hasil secara asinkron.		 {IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_faces Jumlah maksimum wajah yang dapat dideteksi oleh FaceLandmarker. Smoothing hanya diterapkan jika num_faces ditetapkan ke 1. Integer > 0 1
min_face_detection_confidence Skor keyakinan minimum untuk deteksi wajah agar dianggap berhasil. Float [0.0,1.0] 0.5
min_face_presence_confidence Skor keyakinan minimum skor kehadiran wajah dalam deteksi struktur wajah. Float [0.0,1.0] 0.5
min_tracking_confidence Skor keyakinan minimum agar pelacakan wajah dianggap berhasil. Float [0.0,1.0] 0.5
output_face_blendshapes Apakah Penanda Wajah menghasilkan output campuran wajah. Bentuk campuran wajah digunakan untuk merender model wajah 3D. Boolean False
output_facial_transformation_matrixes Apakah FaceLandmarker menghasilkan matriks transformasi wajah. FaceLandmarker menggunakan matriks untuk mengubah penanda wajah dari model wajah kanonis menjadi wajah yang terdeteksi, sehingga pengguna dapat menerapkan efek pada tempat terkenal yang terdeteksi. Boolean False
result_callback Menetapkan pemroses hasil untuk menerima hasil penanda secara asinkron saat FaceLandmarker dalam mode live stream. Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM ResultListener N/A

Model

Face Landmarker menggunakan serangkaian model untuk memprediksi landmark wajah. Model pertama mendeteksi wajah, model kedua menemukan tempat terkenal pada wajah yang terdeteksi, dan model ketiga menggunakan tempat terkenal tersebut untuk mengidentifikasi fitur dan ekspresi wajah.

Model berikut dikemas bersama menjadi paket model yang dapat didownload:

  • Model deteksi wajah: mendeteksi kehadiran wajah dengan beberapa tempat terkenal wajah yang penting.
  • Model mesh wajah: menambahkan pemetaan wajah lengkap. Model ini menghasilkan perkiraan 478 penanda wajah 3 dimensi.
  • Model prediksi Blendshape: menerima output dari model mesh wajah memprediksi 52 skor blendshape, yang merupakan koefisien yang mewakili ekspresi wajah yang berbeda.

Model deteksi wajah adalah model BlazeFace jarak pendek, detektor wajah yang ringan dan akurat yang dioptimalkan untuk inferensi GPU seluler. Untuk mengetahui informasi selengkapnya, lihat tugas Pendeteksi Wajah.

Gambar di bawah menunjukkan pemetaan lengkap tempat terkenal wajah dari output paket model.

Keypoint Penanda Wajah Wajah

Untuk tampilan penanda wajah yang lebih mendetail, lihat gambar ukuran penuh.

Paket model Bentuk input Jenis data Kartu Model Versions
FaceLandmarker FaceDetector: 192 x 192
FaceMesh-V2: 256 x 256
Blendshape: 1 x 146 x 2 		float 16 FaceDetector
FaceMesh-V2
Blendshape
 Terbaru