Leitfaden zur Erkennung von Handmarkierungen für Python

Mit der Aufgabe „MediaPipe Hand Landmarker“ können Sie die Orientierungspunkte der Hände in einem Bild erkennen. In dieser Anleitung erfahren Sie, wie Sie den Hand Landmarker mit Python verwenden. Die Das in dieser Anleitung beschriebene Codebeispiel ist GitHub

Weitere Informationen zu Funktionen, Modellen und Konfigurationsoptionen Sehen Sie sich die Übersicht an.

Codebeispiel

Der Beispielcode für Hand Landmarker bietet eine vollständige Implementierung dieses in Python. Dieser Code hilft Ihnen, diese Aufgabe zu testen und mit der Entwicklung eines eigenen Hand-Landmark-Detektors. Sie können Daten abrufen, ausführen und bearbeiten Beispielcode von Hand Landmark ganz einfach in Ihrem Webbrowser.

Einrichtung

In diesem Abschnitt werden die wichtigsten Schritte zum Einrichten Ihrer Entwicklungsumgebung und für die Verwendung von Hand Landmarker programmieren. Allgemeine Informationen zu Einrichten Ihrer Entwicklungsumgebung für die Verwendung von MediaPipe-Aufgaben, einschließlich Plattformversionsanforderungen finden Sie in der Einrichtungsleitfaden für Python

Pakete

Für die Aufgabe „MediaPipe Hand Landmarker“ ist das PyPI-Paket „mediapipe“ erforderlich. Sie können diese Abhängigkeiten folgendermaßen installieren und importieren:

$ python -m pip install mediapipe

Importe

Importieren Sie die folgenden Klassen, um auf die Aufgabenfunktionen Hand Landmarker zuzugreifen:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modell

Für die Aufgabe „MediaPipe Hand Landmarker“ ist ein trainiertes Modell erforderlich, das mit diesem für die Aufgabe. Weitere Informationen zu verfügbaren trainierten Modellen für Hand Landmarker finden Sie unter in der Aufgabenübersicht im Abschnitt „Modelle“.

Wählen Sie das Modell aus, laden Sie es herunter und speichern Sie es dann in einem lokalen Verzeichnis:

model_path = '/absolute/path/to/gesture_recognizer.task'

Verwenden Sie den model_asset_path-Parameter des BaseOptions-Objekts, um den Pfad anzugeben. des zu verwendenden Modells. Ein Codebeispiel finden Sie im nächsten Abschnitt.

Aufgabe erstellen

Bei der Aufgabe „MediaPipe Hand Landmarker“ wird die Funktion create_from_options verwendet, um die Aufgabe eingerichtet haben. Die Funktion create_from_options akzeptiert Werte für die Konfigurationsoptionen. Weitere Informationen zur Konfiguration finden Sie unter Konfigurationsoptionen.

Der folgende Code zeigt, wie diese Aufgabe erstellt und konfiguriert wird.

Diese Beispiele zeigen auch die Variationen der Aufgabenkonstruktion für Bilder, Videodateien und Livestreams.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the image mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.IMAGE)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the video mode:
options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.VIDEO)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
HandLandmarker = mp.tasks.vision.HandLandmarker
HandLandmarkerOptions = mp.tasks.vision.HandLandmarkerOptions
HandLandmarkerResult = mp.tasks.vision.HandLandmarkerResult
VisionRunningMode = mp.tasks.vision.RunningMode

# Create a hand landmarker instance with the live stream mode:
def print_result(result: HandLandmarkerResult, output_image: mp.Image, timestamp_ms: int):
    print('hand landmarker result: {}'.format(result))

options = HandLandmarkerOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.task'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    result_callback=print_result)
with HandLandmarker.create_from_options(options) as landmarker:
  # The landmarker is initialized. Use it here.
  # ...
    

Ein vollständiges Beispiel für die Erstellung eines Hand Landmarker zur Verwendung mit einem Bild finden Sie im Codebeispiel an.

Konfigurationsoptionen

Diese Aufgabe bietet die folgenden Konfigurationsoptionen für Python-Anwendungen:

Daten vorbereiten

Bereiten Sie Ihre Eingabe als Bilddatei oder als NumPy-Array vor. Konvertieren Sie es dann in ein mediapipe.Image-Objekt. Wenn Sie eine Videodatei eingegeben haben oder über eine Webcam streamen, kannst du eine externe Mediathek wie OpenCV, um die Eingabeframes als NumPy zu laden Arrays.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Aufgabe ausführen

Der Hand Landmarker nutzt die Funktionen „ detect“, „ detect_for_video“ und „ detect_async“ zum Auslösen von Inferenzen. Bei der Erkennung von Handsymbolen Eingabedaten vorverarbeiten, Hände im Bild erkennen und Hand erkennen Sehenswürdigkeiten.

Der folgende Code zeigt, wie die Verarbeitung mit dem Aufgabenmodell ausgeführt wird.

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the image mode.
hand_landmarker_result = landmarker.detect(mp_image)
    

# Perform hand landmarks detection on the provided single image.
# The hand landmarker must be created with the video mode.
hand_landmarker_result = landmarker.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send live image data to perform hand landmarks detection.
# The results are accessible via the `result_callback` provided in
# the `HandLandmarkerOptions` object.
# The hand landmarker must be created with the live stream mode.
landmarker.detect_async(mp_image, frame_timestamp_ms)
    

Wichtige Hinweise:

• Im Video- oder Livestreammodus musst du außerdem stellen Sie der Hand Landmarker-Aufgabe den Zeitstempel des Eingabeframes bereit.
• Bei der Ausführung im Bild- oder Videomodell wird die Aufgabe „Hand Landmarker“ den aktuellen Thread blockieren, bis die Verarbeitung des Eingabebildes abgeschlossen ist. Frame.
• Im Livestreammodus blockiert die Aufgabe „Hand Landmarker“ nicht im aktuellen Thread zu lesen, aber sofort wieder zurück. Das Ergebnis wird aufgerufen. Listener mit dem Erkennungsergebnis, sobald die Verarbeitung abgeschlossen ist. einen Eingabe-Frame. Wenn die Erkennungsfunktion aufgerufen wird, wenn der Hand Landmarker die Aufgabe mit der Verarbeitung eines anderen Frames beschäftigt ist, ignoriert die Aufgabe den neuen Eingabeframe.

Ein vollständiges Beispiel für das Ausführen eines Hand Landmarker auf einem Bild finden Sie auf der Codebeispiel.

Ergebnisse verarbeiten und anzeigen

Der Hand Landmarker generiert für jede Erkennung ein Hand-Landmarker-Ergebnisobjekt. ausführen. Das Ergebnisobjekt enthält Hand-Markierungen in Bildkoordinaten, Hand Orientierungspunkte in Weltkoordinaten und Händigkeit(links/rechts) der erkannten Hände.

Im Folgenden sehen Sie ein Beispiel für die Ausgabedaten dieser Aufgabe:

Die Ausgabe von HandLandmarkerResult enthält drei Komponenten. Jede Komponente ist ein Array, wobei jedes Element die folgenden Ergebnisse für eine einzelne erkannte Hand enthält:

• Händigkeit

  Die Händigkeit gibt an, ob es sich bei den erkannten Händen um linke oder rechte Hände handelt.

• Landmarken

  Es gibt 21 Handmarkierungen, die jeweils aus den Koordinaten x, y und z bestehen. Die Die Koordinaten x und y werden durch die Bildbreite und Höhe. Die Koordinate z stellt die Tiefe der Sehenswürdigkeit dar, wobei Die Tiefe am Handgelenk ist der Ursprung. Je kleiner der Wert, desto näher Sehenswürdigkeit ist die Kamera. Die Größe von z hat ungefähr den gleichen Maßstab wie x.

• Sehenswürdigkeiten der Welt

  Die 21 Handsymbole werden ebenfalls in Weltkoordinaten dargestellt. Jede Markierung besteht aus x, y und z, die reale 3D-Koordinaten in Meter mit dem Ursprung am geometrischen Mittelpunkt der Hand.

HandLandmarkerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

Die folgende Abbildung zeigt eine Visualisierung der Aufgabenausgabe:

Der Beispielcode von Hand Landmarker zeigt, wie der der Aufgabe zurückgegebene Ergebnisse finden Sie in der Codebeispiel .