Aufgabenanleitung zur Gestenerkennung

Mit der Aufgabe „MediaPipe-Gestenerkennung“ können Sie Handgesten in Echtzeit erkennen zeigt die erkannten Handgesten-Ergebnisse sowie Orientierungspunkte der Hände, die erkannt wurden. Mit dieser Aufgabe können Sie bestimmte Handgesten von einem und App-Funktionen aufrufen, die diesen Gesten entsprechen.

Diese Aufgabe arbeitet mit Bilddaten mit einem ML-Modell und akzeptiert entweder statische Daten oder einen kontinuierlichen Stream. Die Aufgabe gibt Hand-Markierungen Bildkoordinaten, Handsymbole in Weltkoordinaten, Händigkeit (links/rechts) und die Gesten-Kategorien mit mehreren Händen.

<ph type="x-smartling-placeholder"></ph> Jetzt testen!arrow_forward

Jetzt starten

Beginnen Sie mit dieser Aufgabe, indem Sie einen dieser Implementierungsleitfäden für Ihr Zielplattform. Diese plattformspezifischen Anleitungen führen Sie durch Implementierung dieser Aufgabe unter Verwendung eines empfohlenen Modells und Bereitstellung von Codebeispielen mit den empfohlenen Konfigurationsoptionen:

• Android – Codebeispiel – Leitfaden
• Python – Codebeispiel – Leitfaden
• Web – Codebeispiel – Leitfaden

Taskdetails

In diesem Abschnitt werden die Funktionen, Eingaben, Ausgaben und Konfiguration beschrieben. Optionen dieser Aufgabe.

Funktionen

• Verarbeitung von Eingabebildern – Die Verarbeitung umfasst Rotation, Größenanpassung und Normalisierung und Farbraumkonvertierung.
• Punktzahl-Schwellenwert - Filtern Sie Ergebnisse basierend auf den Vorhersagewerten.
• Zulassungsliste und Sperrliste für Labels: Sie können die Gestenkategorien festlegen. vom Modell erkannt wird.

Konfigurationsoptionen

Diese Aufgabe hat die folgenden Konfigurationsoptionen:

Modelle

Für die Gestenerkennung wird ein Modell-Bundle mit zwei vorkonfigurierten Modell-Bundles verwendet: ein Hand-Landmark-Modell-Bundle und Gestenklassifizierung-Modell-Bundle Die das Modell der Anwesenheit von Händen und Handgeometrie erkennt, und die Geste Erkennungsmodell erkennt Gesten anhand der Handgeometrie.

Diese Aufgabe unterstützt auch die Änderung des Modell-Bundles mit Model Maker. Weitere Informationen zum Anpassen von Modellen für diese Aufgabe mit Model Maker finden Sie unter Modelle für die Gestenerkennung anpassen.

Paket mit Sehenswürdigkeiten

Das Hand-Landmark-Modell-Bundle erkennt die Schlüsselpunktlokalisierung von 21 Handringen innerhalb der erkannten Handbereiche. Das Modell wurde mit etwa 30.000 realen Bildern sowie mehrere gerenderte synthetische Hand- verschiedenen Hintergründen zu testen. Nachfolgend finden Sie eine Definition zu den 21 Orientierungspunkten:

Das Hand-Landmark-Modell enthält ein Palmerkennungsmodell und Modell zur Erkennung von Hand-Sehenswürdigkeiten. Das Palmerkennungsmodell lokalisiert die Region vom gesamten Eingabebild aus. Das Modell zur Erkennung von Hand-Markierungen findet die Orientierungspunkte auf dem zugeschnittenen Bild von Hand, die durch das Handflächenerkennungsmodell definiert wurden.

Da das Handflächenerkennungsmodell im Videomodus oder Live im Streammodus verwendet, nutzt die Gestenerkennung einen Begrenzungsrahmen, der von der erkannten Hand definiert wird. Sehenswürdigkeiten im aktuellen Frame, um den Bereich der Hände im nächsten zu lokalisieren Frame. Dadurch verkürzt sich die Zeit, in der die Gestenerkennung das Modell zur Handflächenerkennung auslöst. Nur wenn das Modell der Hand-Landmarks nicht mehr genug die erforderlichen oder das Hand-Tracking funktioniert nicht, wird das Handflächenerkennungsmodell aufgerufen, um die Hände neu zu lokalisieren.

Modell-Bundle für die Bewegungsklassifizierung

Das Modellpaket zur Bewegungsklassifizierung kann die folgenden häufigen Handgesten erkennen:

0 - Unrecognized gesture, label: Unknown
1 - Closed fist, label: Closed_Fist
2 - Open palm, label: Open_Palm
3 - Pointing up, label: Pointing_Up
4 - Thumbs down, label: Thumb_Down
5 - Thumbs up, label: Thumb_Up
6 - Victory, label: Victory
7 - Love, label: ILoveYou

Erkennt das Modell zwar Ihre Hände, aber keine Geste, Erkennung gibt das Ergebnis "None" zurück. Wenn das Modell keine Hände erkennt, gibt das Feld für die Bewegungserkennung leer zurück.

Das Bundle für das Gestenklassifizierungsmodell enthält eine zweistufige Pipeline für ein neuronales Netzwerk mit einem Modell zum Einbetten von Gesten, gefolgt von einem Modell zur Bewegungsklassifizierung. Weitere Informationen finden Sie auf der Karte mit dem Modell zur Bewegungsklassifizierung.

Das Modell für die Bewegungseinbettung codiert die Bildmerkmale in einen Featurevektor. Das Klassifizierungsmodell ist ein kompakter Gestenklassifikator, Vektoren als Eingabe an. Das bereitgestellte Paket mit dem Modell zur Bewegungsklassifizierung enthält Folgendes: Klassifikator für gespeicherte Gesten, der die 7 häufigen Handgesten erkennt, oben. Du kannst das Modell-Bundle erweitern, um durch Training mehr Gesten zu erkennen Ihren eigenen benutzerdefinierten Gestenklassifikator. Weitere Details finden Sie unten. Benutzerdefinierte Modelle.

Gestenerkennung mit vorgefertigtem Gestenklassifikator und benutzerdefiniertem Gestenklassifikator bevorzugt die benutzerdefinierte Geste, wenn beide Klassifikatoren in ihre Kategorien. Erkennt nur ein Gestenklassifikator die Geste, Die Gestenerkennung gibt die erkannte Geste direkt aus.

Aufgaben-Benchmarks

Hier sind die Aufgaben-Benchmarks für die gesamte Pipeline basierend auf vortrainierten Modellen. Das Latenzergebnis ist die durchschnittliche Latenz auf Pixel 6 mit CPU / GPU.

Benutzerdefinierte Modelle

Wenn Sie die Funktionen der Modelle in diesem können Sie die vorhandenen Modelle mit dem Modell-Erstellungstool ändern. Verwendete benutzerdefinierte Modelle mit MediaPipe muss das Format .task haben, bei dem es sich um eine Modell-Bundle-Datei handelt. Ich sollten erwägen, die bereitgestellten Modelle für diese Aufgabe mit Model Maker zu ändern bevor Sie Ihre eigenen erstellen.

Weitere Informationen zum Anpassen eines Modells für diese Aufgabe finden Sie unter Modelle für die Gestenerkennung anpassen