GestureRecognizer

public final class GestureRecognizer

Führt eine Bewegungserkennung für Bilder durch.

Diese API erwartet ein vortrainiertes Asset-Bundle für Handgestenmodelle oder ein benutzerdefiniertes Asset-Bundle, das mit Model Maker erstellt wurde. Weitere Informationen finden Sie unter .

  • Eingabebild MPImage
    • Das Bild, auf dem die Gestenerkennung ausgeführt wird.
  • „Gestenerkennungs-ErgebnisGestureRecognizerResult“ für Ausgabe
    • Ein Gestenerkennungsergebnis, das Handmarkierungen und erkannte Handgesten enthält.

Verschachtelte Klassen

Klasse GestureRecognizer.GestureRecognizerOptions Optionen zum Einrichten eines GestureRecognizer-Objekts. 

Public Methods

Statisches GestureRecognizer
createFromBuffer(Kontextkontext, ByteBuffer modelBuffer)
Erstellt eine GestureRecognizer-Instanz aus einem Modellpuffer und dem Standardwert GestureRecognizer.GestureRecognizerOptions.
Statisches GestureRecognizer
createFromFile(Kontextkontext, String ModelPath)
Erstellt eine GestureRecognizer-Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions.
Statisches GestureRecognizer
createFromFile(Kontextkontext, File-Modelldatei)
Erstellt eine GestureRecognizer-Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions.
Statisches GestureRecognizer
GestureRecognizerResult
recognize(MPImage-Bild)
Führt eine Gestenerkennung für das bereitgestellte Einzelbild mit Standard-Bildverarbeitungsoptionen durch, z.B.
GestureRecognizerResult
recognize(MPImage-Bild, ImageProcessingOptions imageProcessingOptions)
Führt eine Gestenerkennung für das bereitgestellte Einzelbild durch.
void
recognizeAsync(MPImage-Bild, langer ZeitstempelMs)
Sendet Live-Bilddaten, um die Gestenerkennung mit Standard-Bildverarbeitungsoptionen wie
void
recognizeAsync(MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Sendet Live-Bilddaten, um die Gestenerkennung durchzuführen. Die Ergebnisse sind über die OutputHandler.ResultListener in der GestureRecognizer.GestureRecognizerOptions verfügbar.
GestureRecognizerResult
recognizeForVideo(MPImage-Bild, langer ZeitstempelMs)
Führt eine Bewegungserkennung für den bereitgestellten Videoframe mit Standardoptionen für die Bildverarbeitung durch, z.B.
GestureRecognizerResult
recognizeForVideo(MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Führt die Bewegungserkennung für den bereitgestellten Videoframe aus.

Übernommene Methoden

Public Methods

public static GestureRecognizer createFromBuffer (Kontextkontext, ByteBuffer modelBuffer)

Erstellt eine GestureRecognizer-Instanz aus einem Modellpuffer und dem Standardwert GestureRecognizer.GestureRecognizerOptions.

Parameter
context ein Android-ERROR(/Context).
modelBuffer ein direktes ByteBuffer oder ein ERROR(/MappedByteBuffer) des Erkennungsmodells.
Löst aus
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.

public static GestureRecognizer createFromFile (Kontextkontext, String modelPath)

Erstellt eine GestureRecognizer-Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions.

Parameter
context ein Android-ERROR(/Context).
modelPath Pfad zum Gestenerkennungsmodell mit Metadaten in den Assets.
Löst aus
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.

public static GestureRecognizer createFromFile (Kontextkontext, Datei Modelldatei)

Erstellt eine GestureRecognizer-Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions.

Parameter
context ein Android-ERROR(/Context).
modelFile die File-Instanz des Gestenerkennungsmodells.
Löst aus
IOException Wenn beim Öffnen der TFlite-Modelldatei ein E/A-Fehler auftritt.
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.

public static GestureRecognizer createFromOptions (Kontextkontext, GestureRecognizer.GestureRecognizerOptions detectrOptions)

Parameter
context ein Android-ERROR(/Context).
recognizerOptions Eine GestureRecognizer.GestureRecognizerOptions-Instanz.
Löst aus
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.

öffentlich GestureRecognizerResult recognize (MPImage-Bild)

Führt eine Bewegungserkennung für das bereitgestellte Einzelbild mit Standardbildverarbeitungsoptionen aus, d.h. ohne Drehung. Verwenden Sie diese Methode nur, wenn das GestureRecognizer mit ERROR(/RunningMode.IMAGE) erstellt wird. TODO-Update der Java-Dokumentation für das Eingabebildformat.

GestureRecognizer unterstützt die folgenden Farbraumtypen:

Parameter
Image Ein MediaPipe-MPImage-Objekt zur Verarbeitung
Löst aus
wenn ein interner Fehler vorliegt.

public GestureRecognizerResult recognize (MPImage-Bild, ImageProcessingOptions imageProcessingOptions)

Führt eine Gestenerkennung für das bereitgestellte Einzelbild durch. Verwenden Sie diese Methode nur, wenn das GestureRecognizer mit ERROR(/RunningMode.IMAGE) erstellt wird. TODO-Update der Java-Dokumentation für das Eingabebildformat.

GestureRecognizer unterstützt die folgenden Farbraumtypen:

Parameter
Image Ein MediaPipe-MPImage-Objekt zur Verarbeitung
imageProcessingOptions den ImageProcessingOptions, der angibt, wie das Eingabebild vor dem Ausführen der Inferenz verarbeitet wird. Beachten Sie, dass die Region von Interesse von dieser Aufgabe nicht unterstützt wird: Die Angabe von ImageProcessingOptions.regionOfInterest() führt dazu, dass diese Methode eine geschmeidige Ausnahme auslöst.
Löst aus
IllegalArgumentException wenn ImageProcessingOptions eine relevante Region angibt.
wenn ein interner Fehler vorliegt.

public void recognizeAsync (MPImage-Bild, long timestampMs)

Sendet Live-Bilddaten, um eine Gestenerkennung mit Standard-Bildverarbeitungsoptionen auszuführen, d. h. ohne Drehung. Die Ergebnisse sind über die OutputHandler.ResultListener in der GestureRecognizer.GestureRecognizerOptions verfügbar. Verwenden Sie diese Methode nur, wenn das ERROR(/GestureRecognition) mit ERROR(/RunningMode.LIVE_STREAM) erstellt wird.

Es muss ein Zeitstempel (in Millisekunden) angegeben werden, um anzugeben, wann das Eingabebild an die Gestenerkennung gesendet wird. Die Eingabezeitstempel müssen kontinuierlich ansteigen.

GestureRecognizer unterstützt die folgenden Farbraumtypen:

Parameter
Image Ein MediaPipe-MPImage-Objekt zur Verarbeitung
timestampMs den Eingabezeitstempel (in Millisekunden).
Löst aus
wenn ein interner Fehler vorliegt.

public void recognizeAsync (MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)

Sendet Live-Bilddaten, um die Gestenerkennung durchzuführen. Die Ergebnisse sind über die OutputHandler.ResultListener in der GestureRecognizer.GestureRecognizerOptions verfügbar. Verwenden Sie diese Methode nur, wenn das ERROR(/GestureRecognition) mit ERROR(/RunningMode.LIVE_STREAM) erstellt wird.

Es muss ein Zeitstempel (in Millisekunden) angegeben werden, um anzugeben, wann das Eingabebild an die Gestenerkennung gesendet wird. Die Eingabezeitstempel müssen kontinuierlich ansteigen.

GestureRecognizer unterstützt die folgenden Farbraumtypen:

Parameter
Image Ein MediaPipe-MPImage-Objekt zur Verarbeitung
imageProcessingOptions den ImageProcessingOptions, der angibt, wie das Eingabebild vor dem Ausführen der Inferenz verarbeitet wird. Beachten Sie, dass die Region von Interesse von dieser Aufgabe nicht unterstützt wird: Die Angabe von ImageProcessingOptions.regionOfInterest() führt dazu, dass diese Methode eine geschmeidige Ausnahme auslöst.
timestampMs den Eingabezeitstempel (in Millisekunden).
Löst aus
IllegalArgumentException wenn ImageProcessingOptions eine relevante Region angibt.
wenn ein interner Fehler vorliegt.

öffentlich GestureRecognizerResult recognizeForVideo (MPImage-Bild, langer ZeitstempelMs)

Führt eine Bewegungserkennung für den bereitgestellten Videoframe mit Standardoptionen für die Bildverarbeitung aus, d.h. ohne Drehung. Verwenden Sie diese Methode nur, wenn das GestureRecognizer mit ERROR(/RunningMode.VIDEO) erstellt wird.

Sie müssen den Zeitstempel des Videoframes (in Millisekunden) angeben. Die Eingabezeitstempel müssen kontinuierlich ansteigen.

GestureRecognizer unterstützt die folgenden Farbraumtypen:

Parameter
Image Ein MediaPipe-MPImage-Objekt zur Verarbeitung
timestampMs den Eingabezeitstempel (in Millisekunden).
Löst aus
wenn ein interner Fehler vorliegt.

public GestureRecognizerResult recognizeForVideo (MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)

Führt die Bewegungserkennung für den bereitgestellten Videoframe aus. Verwenden Sie diese Methode nur, wenn das GestureRecognizer mit ERROR(/RunningMode.VIDEO) erstellt wird.

Sie müssen den Zeitstempel des Videoframes (in Millisekunden) angeben. Die Eingabezeitstempel müssen kontinuierlich ansteigen.

GestureRecognizer unterstützt die folgenden Farbraumtypen:

Parameter
Image Ein MediaPipe-MPImage-Objekt zur Verarbeitung
imageProcessingOptions den ImageProcessingOptions, der angibt, wie das Eingabebild vor dem Ausführen der Inferenz verarbeitet wird. Beachten Sie, dass die Region von Interesse von dieser Aufgabe nicht unterstützt wird: Die Angabe von ImageProcessingOptions.regionOfInterest() führt dazu, dass diese Methode eine geschmeidige Ausnahme auslöst.
timestampMs den Eingabezeitstempel (in Millisekunden).
Löst aus
IllegalArgumentException wenn ImageProcessingOptions eine relevante Region angibt.
wenn ein interner Fehler vorliegt.