Anleitung zur Gesichtserkennung

Mit der Aufgabe „MediaPipe-Gesichtserkennung“ können Sie Gesichter in einem Bild oder Video erkennen. Sie können diese Aufgabe verwenden, um Gesichter und Gesichtsmerkmale innerhalb eines Rahmens zu finden. Bei dieser Aufgabe wird ein Modell für maschinelles Lernen (ML) verwendet, das mit einzelnen Bildern oder einem kontinuierlichen Bilderstrom arbeitet. Die Aufgabe gibt Gesichterpositionen zusammen mit den folgenden wichtigen Gesichtspunkten aus: linkes Auge, rechtes Auge, Nasenspitze, Mund, Tragion des linken Auges und Tragion des rechten Auges.

Jetzt ausprobierenarrow_forward

Jetzt starten

Beginnen Sie mit dieser Aufgabe, indem Sie einem dieser Implementierungsleitfäden für Ihre Zielplattform folgen. Diese plattformspezifischen Leitfäden führen Sie durch eine grundlegende Implementierung dieser Aufgabe, einschließlich eines empfohlenen Modells und eines Codebeispiels mit empfohlenen Konfigurationsoptionen:

• Android – Codebeispiel – Anleitung
• Python – Codebeispiel – Anleitung
• Web – Codebeispiel – Anleitung
• iOS – Codebeispiel – Leitfaden

Taskdetails

In diesem Abschnitt werden die Funktionen, Eingaben, Ausgaben und Konfigurationsoptionen dieser Aufgabe beschrieben.

Funktionen

• Eingabebildverarbeitung: Die Verarbeitung umfasst Bilddrehung, Größenanpassung, Normalisierung und Farbraumkonvertierung.
• Punktzahl-Schwellenwert: Filtern Sie Ergebnisse basierend auf den Vorhersagewerten.

Konfigurationsoptionen

Diese Aufgabe hat die folgenden Konfigurationsoptionen:

Modelle

Gesichtserkennungsmodelle können je nach den vorgesehenen Anwendungsfällen variieren, z. B. bei der Kurz- und Langstreckenerkennung. Modelle machen in der Regel auch Kompromisse zwischen Leistung, Genauigkeit, Auflösung und Ressourcenanforderungen und beinhalten in einigen Fällen zusätzliche Funktionen.

Die in diesem Abschnitt aufgeführten Modelle sind Varianten von BlazeFace, einem schlanken und genauen Gesichtserkennung, der für mobile GPU-Inferenzen optimiert ist. BlazeFace-Modelle eignen sich für Anwendungen wie die 3D-Gesichts-Keypoint-Schätzung, die Klassifizierung von Ausdrücken und die Segmentierung der Gesichtsregionen. BlazeFace verwendet ein einfaches Netzwerk zur Featureextraktion ähnlich wie MobileNetV1/V2.

BlazeFace (Nahbereich)

Ein leichtes Modell zur Erkennung einzelner oder mehrerer Gesichter in Selfie-ähnlichen Bildern einer Smartphonekamera oder Webcam. Das Modell ist für Bilder der Frontkamera von Smartphones aus kurzer Distanz optimiert. In der Modellarchitektur wird ein Convolutional Network-Verfahren (Single Shot Detector, SSD) mit einem benutzerdefinierten Encoder verwendet. Weitere Informationen finden Sie im Forschungsbericht Single Shot Multibox Detector.

BlazeFace (Breitband)

Ein relativ leichtes Modell zur Erkennung einzelner oder mehrerer Gesichter in Bildern einer Smartphonekamera oder Webcam. Das Modell ist für Vollbildaufnahmen optimiert, z. B. Bilder, die mit der rückseitigen Kamera eines Smartphones aufgenommen wurden. Die Modellarchitektur verwendet ein Verfahren, das einem CenterNet-Faltnetzwerk mit einem benutzerdefinierten Encoder ähnelt.

BlazeFace Sparse (Breitband)

Eine leichtere Version des regulären Breitbandmodells BlazeFace, etwa 60% kleiner. Das Modell ist für Breitbandbilder optimiert, z. B. für Bilder, die mit der Rückkamera eines Smartphones aufgenommen wurden. Die Modellarchitektur verwendet ein Verfahren, das einem CenterNet-Faltnetzwerk mit einem benutzerdefinierten Encoder ähnelt.

Aufgaben-Benchmarks

Im Folgenden sind die Aufgaben-Benchmarks für die gesamte Pipeline basierend auf den oben vortrainierten Modellen aufgeführt. Das Latenzergebnis ist die durchschnittliche Latenz auf Pixel 6 mit CPU / GPU.