Führt eine Bewegungserkennung für Bilder durch.
Diese API erwartet ein vortrainiertes Asset-Bundle für Handgestenmodelle oder ein benutzerdefiniertes Asset-Bundle, das mit Model Maker erstellt wurde. Weitere Informationen finden Sie unter
- Eingabebild
MPImage
- Das Bild, auf dem die Gestenerkennung ausgeführt wird.
- „Gestenerkennungs-Ergebnis
GestureRecognizerResult
“ für Ausgabe- Ein Gestenerkennungsergebnis, das Handmarkierungen und erkannte Handgesten enthält.
Verschachtelte Klassen
Klasse | GestureRecognizer.GestureRecognizerOptions | Optionen zum Einrichten eines GestureRecognizer -Objekts. |
Public Methods
Statisches GestureRecognizer |
createFromBuffer(Kontextkontext, ByteBuffer modelBuffer)
Erstellt eine
GestureRecognizer -Instanz aus einem Modellpuffer und dem Standardwert GestureRecognizer.GestureRecognizerOptions . |
Statisches GestureRecognizer |
createFromFile(Kontextkontext, String ModelPath)
Erstellt eine
GestureRecognizer -Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions . |
Statisches GestureRecognizer |
createFromFile(Kontextkontext, File-Modelldatei)
Erstellt eine
GestureRecognizer -Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions . |
Statisches GestureRecognizer |
createFromOptions(Kontextkontext, GestureRecognizer.GestureRecognizerOptions)
Erstellt eine
GestureRecognizer -Instanz aus einer GestureRecognizer.GestureRecognizerOptions . |
GestureRecognizerResult | |
GestureRecognizerResult |
recognize(MPImage-Bild, ImageProcessingOptions imageProcessingOptions)
Führt eine Gestenerkennung für das bereitgestellte Einzelbild durch.
|
void |
recognizeAsync(MPImage-Bild, langer ZeitstempelMs)
Sendet Live-Bilddaten, um die Gestenerkennung mit Standard-Bildverarbeitungsoptionen wie
|
void |
recognizeAsync(MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Sendet Live-Bilddaten, um die Gestenerkennung durchzuführen. Die Ergebnisse sind über die
OutputHandler.ResultListener in der GestureRecognizer.GestureRecognizerOptions verfügbar. |
GestureRecognizerResult |
recognizeForVideo(MPImage-Bild, langer ZeitstempelMs)
Führt eine Bewegungserkennung für den bereitgestellten Videoframe mit Standardoptionen für die Bildverarbeitung durch,
z.B.
|
GestureRecognizerResult |
recognizeForVideo(MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Führt die Bewegungserkennung für den bereitgestellten Videoframe aus.
|
Übernommene Methoden
Public Methods
public static GestureRecognizer createFromBuffer (Kontextkontext, ByteBuffer modelBuffer)
Erstellt eine GestureRecognizer
-Instanz aus einem Modellpuffer und dem Standardwert GestureRecognizer.GestureRecognizerOptions
.
Parameter
context | ein Android-ERROR(/Context) . |
---|---|
modelBuffer | ein direktes ByteBuffer oder ein ERROR(/MappedByteBuffer) des Erkennungsmodells. |
Löst aus
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.
|
public static GestureRecognizer createFromFile (Kontextkontext, String modelPath)
Erstellt eine GestureRecognizer
-Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions
.
Parameter
context | ein Android-ERROR(/Context) . |
---|---|
modelPath | Pfad zum Gestenerkennungsmodell mit Metadaten in den Assets. |
Löst aus
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.
|
public static GestureRecognizer createFromFile (Kontextkontext, Datei Modelldatei)
Erstellt eine GestureRecognizer
-Instanz aus einer Modelldatei und der Standard-GestureRecognizer.GestureRecognizerOptions
.
Parameter
context | ein Android-ERROR(/Context) . |
---|---|
modelFile | die File -Instanz des Gestenerkennungsmodells. |
Löst aus
IOException | Wenn beim Öffnen der TFlite-Modelldatei ein E/A-Fehler auftritt. |
---|---|
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.
|
public static GestureRecognizer createFromOptions (Kontextkontext, GestureRecognizer.GestureRecognizerOptions detectrOptions)
Erstellt eine GestureRecognizer
-Instanz aus einer GestureRecognizer.GestureRecognizerOptions
.
Parameter
context | ein Android-ERROR(/Context) . |
---|---|
recognizerOptions | Eine GestureRecognizer.GestureRecognizerOptions -Instanz. |
Löst aus
Wenn beim Erstellen von GestureRecognizer ein Fehler auftritt.
|
öffentlich GestureRecognizerResult recognize (MPImage-Bild)
Führt eine Bewegungserkennung für das bereitgestellte Einzelbild mit Standardbildverarbeitungsoptionen aus, d.h. ohne Drehung. Verwenden Sie diese Methode nur, wenn das GestureRecognizer
mit ERROR(/RunningMode.IMAGE)
erstellt wird. TODO-Update der Java-Dokumentation für das Eingabebildformat.
GestureRecognizer
unterstützt die folgenden Farbraumtypen:
Parameter
Image | Ein MediaPipe-MPImage -Objekt zur Verarbeitung |
---|
Löst aus
wenn ein interner Fehler vorliegt. |
public GestureRecognizerResult recognize (MPImage-Bild, ImageProcessingOptions imageProcessingOptions)
Führt eine Gestenerkennung für das bereitgestellte Einzelbild durch. Verwenden Sie diese Methode nur, wenn das GestureRecognizer
mit ERROR(/RunningMode.IMAGE)
erstellt wird. TODO-Update der Java-Dokumentation für das Eingabebildformat.
GestureRecognizer
unterstützt die folgenden Farbraumtypen:
Parameter
Image | Ein MediaPipe-MPImage -Objekt zur Verarbeitung |
---|---|
imageProcessingOptions | den ImageProcessingOptions , der angibt, wie das Eingabebild vor dem Ausführen der Inferenz verarbeitet wird. Beachten Sie, dass die Region von Interesse von dieser Aufgabe nicht unterstützt wird: Die Angabe von ImageProcessingOptions.regionOfInterest() führt dazu, dass diese Methode eine geschmeidige Ausnahme auslöst. |
Löst aus
IllegalArgumentException | wenn ImageProcessingOptions eine relevante Region angibt. |
---|---|
wenn ein interner Fehler vorliegt. |
public void recognizeAsync (MPImage-Bild, long timestampMs)
Sendet Live-Bilddaten, um eine Gestenerkennung mit Standard-Bildverarbeitungsoptionen auszuführen, d. h. ohne Drehung. Die Ergebnisse sind über die OutputHandler.ResultListener
in der GestureRecognizer.GestureRecognizerOptions
verfügbar. Verwenden Sie diese Methode nur, wenn das ERROR(/GestureRecognition)
mit ERROR(/RunningMode.LIVE_STREAM)
erstellt wird.
Es muss ein Zeitstempel (in Millisekunden) angegeben werden, um anzugeben, wann das Eingabebild an die Gestenerkennung gesendet wird. Die Eingabezeitstempel müssen kontinuierlich ansteigen.
GestureRecognizer
unterstützt die folgenden Farbraumtypen:
Parameter
Image | Ein MediaPipe-MPImage -Objekt zur Verarbeitung |
---|---|
timestampMs | den Eingabezeitstempel (in Millisekunden). |
Löst aus
wenn ein interner Fehler vorliegt. |
public void recognizeAsync (MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Sendet Live-Bilddaten, um die Gestenerkennung durchzuführen. Die Ergebnisse sind über die OutputHandler.ResultListener
in der GestureRecognizer.GestureRecognizerOptions
verfügbar. Verwenden Sie diese Methode nur, wenn das ERROR(/GestureRecognition)
mit ERROR(/RunningMode.LIVE_STREAM)
erstellt wird.
Es muss ein Zeitstempel (in Millisekunden) angegeben werden, um anzugeben, wann das Eingabebild an die Gestenerkennung gesendet wird. Die Eingabezeitstempel müssen kontinuierlich ansteigen.
GestureRecognizer
unterstützt die folgenden Farbraumtypen:
Parameter
Image | Ein MediaPipe-MPImage -Objekt zur Verarbeitung |
---|---|
imageProcessingOptions | den ImageProcessingOptions , der angibt, wie das Eingabebild vor dem Ausführen der Inferenz verarbeitet wird. Beachten Sie, dass die Region von Interesse von dieser Aufgabe nicht unterstützt wird: Die Angabe von ImageProcessingOptions.regionOfInterest() führt dazu, dass diese Methode eine geschmeidige Ausnahme auslöst. |
timestampMs | den Eingabezeitstempel (in Millisekunden). |
Löst aus
IllegalArgumentException | wenn ImageProcessingOptions eine relevante Region angibt. |
---|---|
wenn ein interner Fehler vorliegt. |
öffentlich GestureRecognizerResult recognizeForVideo (MPImage-Bild, langer ZeitstempelMs)
Führt eine Bewegungserkennung für den bereitgestellten Videoframe mit Standardoptionen für die Bildverarbeitung aus, d.h. ohne Drehung. Verwenden Sie diese Methode nur, wenn das GestureRecognizer
mit ERROR(/RunningMode.VIDEO)
erstellt wird.
Sie müssen den Zeitstempel des Videoframes (in Millisekunden) angeben. Die Eingabezeitstempel müssen kontinuierlich ansteigen.
GestureRecognizer
unterstützt die folgenden Farbraumtypen:
Parameter
Image | Ein MediaPipe-MPImage -Objekt zur Verarbeitung |
---|---|
timestampMs | den Eingabezeitstempel (in Millisekunden). |
Löst aus
wenn ein interner Fehler vorliegt. |
public GestureRecognizerResult recognizeForVideo (MPImage-Bild, ImageProcessingOptions imageProcessingOptions, long timestampMs)
Führt die Bewegungserkennung für den bereitgestellten Videoframe aus. Verwenden Sie diese Methode nur, wenn das GestureRecognizer
mit ERROR(/RunningMode.VIDEO)
erstellt wird.
Sie müssen den Zeitstempel des Videoframes (in Millisekunden) angeben. Die Eingabezeitstempel müssen kontinuierlich ansteigen.
GestureRecognizer
unterstützt die folgenden Farbraumtypen:
Parameter
Image | Ein MediaPipe-MPImage -Objekt zur Verarbeitung |
---|---|
imageProcessingOptions | den ImageProcessingOptions , der angibt, wie das Eingabebild vor dem Ausführen der Inferenz verarbeitet wird. Beachten Sie, dass die Region von Interesse von dieser Aufgabe nicht unterstützt wird: Die Angabe von ImageProcessingOptions.regionOfInterest() führt dazu, dass diese Methode eine geschmeidige Ausnahme auslöst. |
timestampMs | den Eingabezeitstempel (in Millisekunden). |
Löst aus
IllegalArgumentException | wenn ImageProcessingOptions eine relevante Region angibt. |
---|---|
wenn ein interner Fehler vorliegt. |