MediaPipe Face Landmarker görevi, resim ve videolarda yüz işaretlerini ve yüz ifadelerini algılamanıza olanak tanır. Bu görevi kullanarak insan yüz ifadelerini belirleyebilir, yüz filtreleri ve efektleri uygulayabilir ve sanal avatarlar oluşturabilirsiniz. Bu görevde, tek resimlerle veya sürekli bir resim akışıyla çalışabilen makine öğrenimi (ML) modelleri kullanılır. Bu görev; ayrıntılı yüzeyleri gerçek zamanlı olarak tahmin etmek için 3 boyutlu yüz işaret noktaları, blendshape puanları (yüz ifadesini temsil eden katsayılar) ve efekt oluşturma için gereken dönüşümleri gerçekleştirmek üzere dönüşüm matrisleri çıkarır.
Başlayın
Hedef platformunuza yönelik uygulama kılavuzlarından birini uygulayarak bu görevi kullanmaya başlayın. Bu platforma özel kılavuzlar, önerilen bir model ve önerilen yapılandırma seçeneklerini içeren kod örneği de dahil olmak üzere bu görevin temel bir uygulamasında size yol gösterir:
- Android - Kod örneği - Rehber
- Python - Kod örneği - Kılavuz
- Web - Kod örneği - Rehber
Görev ayrıntıları
Bu bölümde, bu görevin özellikleri, girişleri, çıkışları ve yapılandırma seçenekleri açıklanmaktadır.
Özellikler
- Giriş görüntüsü işleme: İşleme; görüntü döndürme, yeniden boyutlandırma, normalleştirme ve renk alanı dönüştürme işlemlerini içerir.
- Puan eşiği: Sonuçları tahmin puanlarına göre filtreleyin.
| Görev girişleri | Görev çıktıları |
|---|---|
Yüz İşaretleyici, aşağıdaki veri türlerinden birini giriş olarak kabul eder:
|
Yüz İşaretleyici aşağıdaki sonuçları verir:
|
Yapılandırma seçenekleri
Bu görevin aşağıdaki yapılandırma seçenekleri vardır:
| Seçenek Adı | Açıklama | Değer aralığı | Varsayılan değer |
|---|---|---|---|
running_mode |
Görevin çalışma modunu ayarlar. Üç mod vardır: RESİM: Tek resim girişleri için mod. VIDEO: Bir videonun kodu çözülmüş karelerinin modu. LIVE_STREAM: Giriş verilerinin (ör. kameradan alınan veriler) canlı yayını için kullanılan mod. Bu modda, sonuçları eşzamansız olarak almak için bir dinleyici ayarlamak üzere resultListener çağrılmalıdır. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_faces |
FaceLandmarker tarafından algılanabilecek maksimum yüz sayısı. Yumuşatma yalnızca num_faces 1 olarak ayarlandığında uygulanır.
|
Integer > 0 |
1 |
min_face_detection_confidence |
Yüz algılamanın başarılı sayılması için gereken minimum güven puanı. | Float [0.0,1.0] |
0.5 |
min_face_presence_confidence |
Yüz işareti algılamada yüz varlığı puanının minimum güven puanı. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Yüz izlemenin başarılı olarak kabul edilmesi için gereken minimum güven puanı. | Float [0.0,1.0] |
0.5 |
output_face_blendshapes |
Yüz İşaretçisi'nin yüz karışım şekilleri çıkışı verip vermeyeceği. Yüz şekil harmanları, 3D yüz modelini oluşturmak için kullanılır. | Boolean |
False |
output_facial_transformation_matrixes |
FaceLandmarker'ın yüz dönüşümü matrisini çıkış olarak verip vermeyeceği. FaceLandmarker, yüz işaretlerini kanonik bir yüz modelinden algılanan yüze dönüştürmek için matrisi kullanır. Böylece kullanıcılar, algılanan işaretlere efekt uygulayabilir. | Boolean |
False |
result_callback |
FaceLandmarker, canlı yayın modundayken yer işareti sonuçlarını eşzamansız olarak almak için sonuç dinleyicisini ayarlar.
Yalnızca çalışma modu LIVE_STREAM olarak ayarlandığında kullanılabilir. |
ResultListener |
N/A |
Modeller
Yüz İşaretleyici, yüz işaretlerini tahmin etmek için bir dizi model kullanır. Birinci model yüzleri algılar, ikinci model algılanan yüzlerdeki önemli noktaları bulur ve üçüncü model, yüz özelliklerini ve ifadelerini tanımlamak için bu önemli noktaları kullanır.
Aşağıdaki modeller, indirilebilir bir model paketinde birlikte sunulur:
- Yüz algılama modeli: Yüzdeki birkaç önemli noktayı kullanarak yüzlerin varlığını algılar.
- Yüz ağı modeli: Yüzün tam eşlemesini ekler. Model, 478 adet 3 boyutlu yüz işaret noktasının tahminini verir.
- Blendshape tahmin modeli: Yüz ağı modelinden çıkış alır. Yüzün farklı ifadelerini temsil eden katsayılar olan 52 blendshape puanını tahmin eder.
Yüz algılama modeli, mobil GPU çıkarımı için optimize edilmiş, hafif ve doğru bir yüz detektörü olan BlazeFace kısa menzilli modelidir. Daha fazla bilgi için Yüz Algılayıcı görevine bakın.
Aşağıdaki resimde, model paketi çıkışındaki yüz işaret noktalarının tam eşlemesi gösterilmektedir.
Yüz işaret noktalarının daha ayrıntılı görünümü için tam boyutlu resme bakın.
| Model paketi | Giriş şekli | Veri türü | Model Kartları | Sürümler |
|---|---|---|---|---|
| FaceLandmarker | FaceDetector: 192 x 192 FaceMesh-V2: 256 x 256 Blendshape: 1 x 146 x 2 |
float 16 |
FaceDetector FaceMesh-V2 Blendshape |
En yeni |