Leitfaden zur Erkennung von Positionsmarkierungen für Android

Mit der Aufgabe „MediaPipe Pose Landmarker“ können Sie Sehenswürdigkeiten menschlicher Körper in einem Bild oder Video erkennen. Sie können diese Aufgabe verwenden, um wichtige Körperstellen zu identifizieren, die Körperhaltung zu analysieren und Bewegungen zu kategorisieren. Bei dieser Aufgabe werden Modelle für maschinelles Lernen (ML) verwendet, die mit einzelnen Bildern oder Videos arbeiten. Die Aufgabe gibt Körperpositionsmarkierungen in Bildkoordinaten und in dreidimensionalen Weltkoordinaten aus.

Das in dieser Anleitung beschriebene Codebeispiel ist auf GitHub verfügbar. Weitere Informationen zu den Funktionen, Modellen und Konfigurationsoptionen dieser Aufgabe finden Sie in der Übersicht.

Codebeispiel

Der Beispielcode für MediaPipe Tasks ist eine einfache Implementierung einer Pose Landmarker-App für Android. In diesem Beispiel wird die Kamera eines physischen Android-Geräts verwendet, um Posen in einem kontinuierlichen Videostream zu erkennen. Die App kann auch Posen in Bildern und Videos aus der Gerätegalerie erkennen.

Du kannst die App als Ausgangspunkt für deine eigene Android-App verwenden oder beim Modifizieren einer vorhandenen App darauf zurückgreifen. Der Beispielcode für den Pose Landmarker wird auf GitHub gehostet.

Code herunterladen

In der folgenden Anleitung erfahren Sie, wie Sie mit dem git-Befehlszeilentool eine lokale Kopie des Beispielcodes erstellen.

So laden Sie den Beispielcode herunter:

  1. Klonen Sie das Git-Repository mit dem folgenden Befehl:
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. Konfigurieren Sie optional die Git-Instanz für die Verwendung von Sparse Checkout, sodass Sie nur die Dateien für die Pose Landmarker-Beispielanwendung haben:
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/pose_landmarker/android

Nachdem Sie eine lokale Version des Beispielcodes erstellt haben, können Sie das Projekt in Android Studio importieren und die App ausführen. Eine Anleitung finden Sie im Einrichtungsleitfaden für Android.

Schlüsselkomponenten

Die folgenden Dateien enthalten den entscheidenden Code für diese Beispielanwendung für Posen-Landmarking:

  • PoseLandmarkerHelper.kt – Initialisiert den Pos-Landmarker und verarbeitet das Modell und die Delegatauswahl.
  • CameraFragment.kt: Bearbeitet die Kamera des Geräts und verarbeitet die Bild- und Videoeingabedaten.
  • GalleryFragment.kt: Interagiert mit OverlayView, um das Ausgabebild oder -video anzuzeigen.
  • OverlayView.kt – Implementiert die Anzeige für die erkannten Posen.

Einrichtung

In diesem Abschnitt werden die wichtigsten Schritte zum Einrichten Ihrer Entwicklungsumgebung und Codeprojekte speziell für die Verwendung von Pose Landmarker beschrieben. Allgemeine Informationen zum Einrichten der Entwicklungsumgebung für die Verwendung von MediaPipe-Aufgaben, einschließlich der Anforderungen an die Plattformversion, finden Sie im Einrichtungsleitfaden für Android.

Abhängigkeiten

Für die Aufgabe „Pose Landmarker“ wird die com.google.mediapipe:tasks-vision-Bibliothek verwendet. Füge diese Abhängigkeit in die Datei build.gradle deiner Android-App ein:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modell

Die Aufgabe „MediaPipe Pose Landmarker“ erfordert ein trainiertes Modell-Bundle, das mit dieser Aufgabe kompatibel ist. Weitere Informationen zu verfügbaren trainierten Modellen für Pose Landmarker finden Sie in der Aufgabenübersicht im Abschnitt „Modelle“.

Wählen Sie das Modell aus, laden Sie es herunter und speichern Sie es in Ihrem Projektverzeichnis:

<dev-project-root>/src/main/assets

Geben Sie den Pfad des Modells innerhalb des Parameters ModelAssetPath an. Im Beispielcode wird das Modell in der Datei PoseLandmarkerHelper.kt definiert:

val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)

Aufgabe erstellen

Die Aufgabe „MediaPipe Pose Landmarker“ verwendet die Funktion createFromOptions(), um die Aufgabe einzurichten. Die Funktion createFromOptions() akzeptiert Werte für die Konfigurationsoptionen. Weitere Informationen zu Konfigurationsoptionen finden Sie unter Konfigurationsoptionen.

Pose Landmarker unterstützt die folgenden Eingabedatentypen: Standbilder, Videodateien und Live-Videostreams. Sie müssen beim Erstellen der Aufgabe den Ausführungsmodus angeben, der Ihrem Eingabedatentyp entspricht. Wählen Sie die Registerkarte für Ihren Eingabedatentyp aus, um zu sehen, wie die Aufgabe erstellt wird.

Bild

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)

Video

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)

Livestream

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder = 
    poseLandmarker.poseLandmarkerOptions.builder()
        .setBaseOptions(baseOptionsBuilder.build())
        .setMinPoseDetectionConfidence(minPoseDetectionConfidence)
        .setMinTrackingConfidence(minPoseTrackingConfidence)
        .setMinPosePresenceConfidence(minposePresenceConfidence)
        .setNumPoses(maxNumPoses)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
poseLandmarker = poseLandmarker.createFromOptions(context, options)

Durch die Implementierung des Beispielcodes für Pose Landmarker können Nutzer zwischen den Verarbeitungsmodi wechseln. Dadurch wird der Code zur Aufgabenerstellung komplizierter und ist für Ihren Anwendungsfall möglicherweise nicht geeignet. Sie finden diesen Code in der Funktion setupPoseLandmarker() in der Datei PoseLandmarkerHelper.kt.

Konfigurationsoptionen

Diese Aufgabe umfasst die folgenden Konfigurationsoptionen für Android-Apps:

Option Beschreibung Wertebereich Standardwert
runningMode Legt den Ausführungsmodus für die Task fest. Es gibt drei Modi:

IMAGE: Der Modus für Einzelbildeingaben.

VIDEO: Der Modus für decodierte Frames eines Videos.

LIVE_STREAM: Der Modus für einen Livestream der Eingabedaten, z. B. von einer Kamera. In diesem Modus muss resultListener aufgerufen werden, um einen Listener einzurichten, der die Ergebnisse asynchron empfängt.		 {IMAGE, VIDEO, LIVE_STREAM} IMAGE
numposes Die maximale Anzahl von Posen, die vom Pose-Markierungspunkt erkannt werden können. Integer > 0 1
minPoseDetectionConfidence Der minimale Konfidenzwert, damit die Posenerkennung als erfolgreich gilt. Float [0.0,1.0] 0.5
minPosePresenceConfidence Der minimale Konfidenzwert der Posenpräsenz bei der Erkennung von Posen-Markierungen. Float [0.0,1.0] 0.5
minTrackingConfidence Der minimale Konfidenzwert, damit das Posen-Tracking als erfolgreich gilt. Float [0.0,1.0] 0.5
outputSegmentationMasks Gibt an, ob der Pose Landmarker eine Segmentierungsmaske für die erkannte Pose ausgibt. Boolean False
resultListener Legt den Ergebnis-Listener so fest, dass er die Landmarker-Ergebnisse asynchron empfängt, wenn sich Pose Landmarker im Livestreammodus befindet. Kann nur verwendet werden, wenn der Laufmodus auf LIVE_STREAM festgelegt ist ResultListener N/A
errorListener Legt einen optionalen Fehler-Listener fest. ErrorListener N/A

Daten vorbereiten

Pose Landmarker funktioniert mit Bildern, Videodateien und Live-Videostreams. Die Aufgabe übernimmt die Vorverarbeitung der Dateneingabe, einschließlich Größenanpassung, Rotation und Wertnormalisierung.

Der folgende Code zeigt, wie Daten zur Verarbeitung übergeben werden. Diese Beispiele enthalten Details zum Umgang mit Daten aus Bildern, Videodateien und Live-Videostreams.

Bild

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()

Video

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()

Livestream

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()

Im Beispielcode für Pose Landmarker erfolgt die Datenvorbereitung in der Datei PoseLandmarkerHelper.kt.

Task ausführen

Verwenden Sie je nach Datentyp, mit dem Sie arbeiten, die Methode poseLandmarker.detect...() für diesen Datentyp. Verwenden Sie detect() für einzelne Bilder, detectForVideo() für Frames in Videodateien und detectAsync() für Videostreams. Wenn Sie Erkennungsvorgänge in einem Videostream durchführen, achten Sie darauf, die Erkennung in einem separaten Thread auszuführen, damit der Nutzer-Thread nicht blockiert wird.

Die folgenden Codebeispiele zeigen einfache Beispiele, wie Pose Landmarker in diesen verschiedenen Datenmodi ausgeführt wird:

Bild

val result = poseLandmarker.detect(mpImage)

Video

val timestampMs = i * inferenceIntervalMs

poseLandmarker.detectForVideo(mpImage, timestampMs)
    .let { detectionResult ->
        resultList.add(detectionResult)
    }

Livestream

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

poseLandmarker.detectAsync(mpImage, frameTime)

Wichtige Hinweise:

  • Im Video- oder Livestreammodus müssen Sie den Zeitstempel des Eingabe-Frames für die Aufgabe „Pose Landmarker“ bereitstellen.
  • Im Bild- oder Videomodus blockiert die Aufgabe „Pose Landmarker“ den aktuellen Thread, bis die Verarbeitung des Eingabebilds oder ‐frames abgeschlossen ist. Führen Sie die Verarbeitung in einem Hintergrundthread aus, um zu vermeiden, dass der Nutzer dazwischen blockiert wird.
  • Im Livestreammodus wird die Aufgabe „Pose Landmarker“ sofort zurückgegeben und der aktuelle Thread nicht blockiert. Der Ergebnis-Listener wird mit dem Erkennungsergebnis aufgerufen, sobald ein Eingabe-Frame verarbeitet wurde.

Im Beispielcode von Pose Landmarker werden die Funktionen detect, detectForVideo und detectAsync in der Datei PoseLandmarkerHelper.kt definiert.

Ergebnisse verarbeiten und anzeigen

Der Pose Landmarker gibt für jeden Erkennungslauf ein poseLandmarkerResult-Objekt zurück. Das Ergebnisobjekt enthält Koordinaten für jede Positionsmarkierung.

Im Folgenden sehen Sie ein Beispiel für die Ausgabedaten dieser Aufgabe:

PoseLandmarkerResult:
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : 0.129959
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
      visibility   : 0.999909
      presence     : 0.999958
    ... (33 landmarks per pose)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
      visibility   : 0.9999997615814209
      presence     : 0.9999984502792358
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
      visibility   : 0.999976
      presence     : 0.999998
    ... (33 world landmarks per pose)
  SegmentationMasks:
    ... (pictured below)

Die Ausgabe enthält für jede Sehenswürdigkeit sowohl normalisierte Koordinaten (Landmarks) als auch Weltkoordinaten (WorldLandmarks).

Die Ausgabe enthält die folgenden normalisierten Koordinaten (Landmarks):

  • x und y: Koordinaten der Markierung, normalisiert zwischen 0,0 und 1,0 nach der Bildbreite (x) und der Höhe (y).

  • z: Die Tiefe der Sehenswürdigkeit, wobei die Tiefe im Mittelpunkt der Hüften als Ausgangspunkt dient. Je kleiner der Wert, desto näher liegt die Sehenswürdigkeit an der Kamera. Die Größe von Z wird ungefähr gleich groß wie bei x verwendet.

  • visibility: Die Wahrscheinlichkeit, dass die Sehenswürdigkeit im Bild sichtbar ist.

Die Ausgabe enthält die folgenden Weltkoordinaten (WorldLandmarks):

  • x, y und z: reale dreidimensionale Koordinaten in Metern, wobei der Mittelpunkt der Hüfte als Ausgangspunkt dient.

  • visibility: Die Wahrscheinlichkeit, dass die Sehenswürdigkeit im Bild sichtbar ist.

Die folgende Abbildung zeigt eine Visualisierung der Aufgabenausgabe:

Die optionale Segmentierungsmaske gibt die Wahrscheinlichkeit an, mit der jedes Pixel zu einer erkannten Person gehört. Die folgende Abbildung zeigt eine Segmentierungsmaske der Aufgabenausgabe:

Der Beispielcode für Pose Landmarker zeigt, wie die von der Aufgabe zurückgegebenen Ergebnisse angezeigt werden. Weitere Informationen finden Sie in der Klasse OverlayView.