GestureRecognizer

classe finale publique : GestureRecognizer

Effectue une reconnaissance gestuelle sur les images.

Cette API attend un lot d'assets de modèle de geste de la main pré-entraîné ou un groupe d'assets personnalisé créé à l'aide de Model Maker. Voir la section .

  • Image d'entrée MPImage
    • Image sur laquelle la reconnaissance gestuelle s'exécute.
  • Sortie GestureRecognizerResult GestureRecognizerResult
    • GestureRecognizerResult contenant des points de repère de la main et des gestes de la main reconnus.

Classes imbriquées

classe GestureRecognizer.GestureRecognizerOptions Options de configuration d'un GestureRecognizer. 

Méthodes publiques

statique GestureRecognizer
createFromBuffer(contexte de contexte, modelBuffer ByteBuffer)
Crée une instance GestureRecognizer à partir d'un tampon de modèle et la valeur GestureRecognizer.GestureRecognizerOptions par défaut.
statique GestureRecognizer
createFromFile(contexte de contexte, String modelPath)
Crée une instance GestureRecognizer à partir d'un fichier de modèle et de la valeur GestureRecognizer.GestureRecognizerOptions par défaut.
statique GestureRecognizer
createFromFile(contexte de contexte, File modelFile)
Crée une instance GestureRecognizer à partir d'un fichier de modèle et de la valeur GestureRecognizer.GestureRecognizerOptions par défaut.
statique GestureRecognizer
createFromOptions(contexte de contexte, GestureRecognizer.GestureRecognizerOptionsrecognizerOptions)
Crée une instance GestureRecognizer à partir d'un GestureRecognizer.GestureRecognizerOptions.
GestureRecognizerResult
recognize(image MPImage)
Effectue une reconnaissance gestuelle sur l'image unique fournie avec des options de traitement d'image par défaut (par exemple,
GestureRecognizerResult
recognize(image MPImage, ImageProcessingOptions imageProcessingOptions)
Effectue une reconnaissance gestuelle sur l'image unique fournie.
void
recognizeAsync(image MPImage, code temporel long)
Envoie des données d'image en direct pour effectuer la reconnaissance des gestes avec les options de traitement d'image par défaut, par exemple
void
recognizeAsync(image MPImage, ImageProcessingOptions imageProcessingOptions, longTimestampMs)
Envoie des données d'image en direct pour effectuer la reconnaissance des gestes. Les résultats seront disponibles via le OutputHandler.ResultListener fourni dans GestureRecognizer.GestureRecognizerOptions.
GestureRecognizerResult
recognizeForVideo(image MPImage, code temporel long)
Effectue une reconnaissance gestuelle sur l'image vidéo fournie avec des options de traitement d'image par défaut, telles que
GestureRecognizerResult
recognizeForVideo(image MPImage, ImageProcessingOptions imageProcessingOptions, longTimestampMs)
Effectue une reconnaissance gestuelle sur l'image vidéo fournie.

Méthodes héritées

Méthodes publiques

public statique GestureRecognizer createFromBuffer (contexte de contexte, ByteBuffer modelBuffer)

Crée une instance GestureRecognizer à partir d'un tampon de modèle et la valeur GestureRecognizer.GestureRecognizerOptions par défaut.

Paramètres
context un ERROR(/Context) Android.
modelBuffer un ByteBuffer ou un ERROR(/MappedByteBuffer) direct du modèle de détection.
Génère
si une erreur se produit lors de la création de GestureRecognizer.

public statique GestureRecognizer createFromFile (contexte de contexte, String modelPath)

Crée une instance GestureRecognizer à partir d'un fichier de modèle et de la valeur GestureRecognizer.GestureRecognizerOptions par défaut.

Paramètres
context un ERROR(/Context) Android.
modelPath chemin d'accès au modèle de reconnaissance de gestes avec les métadonnées dans les éléments.
Génère
si une erreur se produit lors de la création de GestureRecognizer.

public statique GestureRecognizer createFromFile (contexte de contexte, File modelFile)

Crée une instance GestureRecognizer à partir d'un fichier de modèle et de la valeur GestureRecognizer.GestureRecognizerOptions par défaut.

Paramètres
context un ERROR(/Context) Android.
modelFile l'instance du modèle de reconnaissance de gestes File.
Génère
IOException si une erreur d'E/S se produit lors de l'ouverture du fichier de modèle tflite.
si une erreur se produit lors de la création de GestureRecognizer.

public statique GestureRecognizer createFromOptions (Contexte contextuel, GestureRecognizer.GestureRecognizerOptionsrecognizerOptions)

Crée une instance GestureRecognizer à partir d'un GestureRecognizer.GestureRecognizerOptions.

Paramètres
context un ERROR(/Context) Android.
recognizerOptions une instance GestureRecognizer.GestureRecognizerOptions.
Génère
si une erreur se produit lors de la création de GestureRecognizer.

public GestureRecognizerResult recognize (MPImage image)

Effectue une reconnaissance des gestes sur l'image unique fournie avec des options de traitement d'image par défaut, c'est-à-dire sans aucune rotation. N'utilisez cette méthode que lorsque le GestureRecognizer est créé avec ERROR(/RunningMode.IMAGE). TODO pour mettre à jour le document Java pour le format d'image d'entrée.

GestureRecognizer accepte les types d'espaces colorimétriques suivants:

Paramètres
Image un objet MPImage MediaPipe à traiter.
Génère
en cas d'erreur interne.

public GestureRecognizerResult recognize (MPImage image, ImageProcessingOptions imageProcessingOptions)

Effectue une reconnaissance gestuelle sur l'image unique fournie. N'utilisez cette méthode que lorsque le GestureRecognizer est créé avec ERROR(/RunningMode.IMAGE). TODO pour mettre à jour le document Java pour le format d'image d'entrée.

GestureRecognizer accepte les types d'espaces colorimétriques suivants:

Paramètres
Image un objet MPImage MediaPipe à traiter.
imageProcessingOptions Le ImageProcessingOptions, qui indique comment traiter l'image d'entrée avant d'exécuter l'inférence. Notez que la valeur de la région d'intérêt n'est pas prise en charge par cette tâche. Si vous spécifiez ImageProcessingOptions.regionOfInterest(), cette méthode générera une exception IllegalArgumentException.
Génère
IllegalArgumentException si ImageProcessingOptions spécifie une région d'intérêt.
en cas d'erreur interne.

public vide recognizeAsync (image MPImage, codes temporels longs)

Envoie des données d'image en direct pour effectuer la reconnaissance des gestes avec les options de traitement d'image par défaut, c'est-à-dire sans rotation appliquée, et les résultats sont disponibles via le OutputHandler.ResultListener fourni dans GestureRecognizer.GestureRecognizerOptions. N'utilisez cette méthode que lorsque l'élément ERROR(/GestureRecognition) est créé avec ERROR(/RunningMode.LIVE_STREAM).

Il est nécessaire de fournir un horodatage (en millisecondes) pour indiquer le moment où l'image d'entrée est envoyée à l'outil de reconnaissance de gestes. Les horodatages d'entrée doivent être croissants de manière monotone.

GestureRecognizer accepte les types d'espaces colorimétriques suivants:

Paramètres
Image un objet MPImage MediaPipe à traiter.
timestampMs l'horodatage d'entrée (en millisecondes) ;
Génère
en cas d'erreur interne.

public void recognizeAsync (image MPImage, ImageProcessingOptions imageProcessingOptions, longTimestampMs)

Envoie des données d'image en direct pour effectuer la reconnaissance des gestes. Les résultats seront disponibles via le OutputHandler.ResultListener fourni dans GestureRecognizer.GestureRecognizerOptions. N'utilisez cette méthode que lorsque le ERROR(/GestureRecognition) est créé avec ERROR(/RunningMode.LIVE_STREAM).

Il est nécessaire de fournir un horodatage (en millisecondes) pour indiquer le moment où l'image d'entrée est envoyée à l'outil de reconnaissance de gestes. Les horodatages d'entrée doivent être croissants de manière monotone.

GestureRecognizer accepte les types d'espaces colorimétriques suivants:

Paramètres
Image un objet MPImage MediaPipe à traiter.
imageProcessingOptions Le ImageProcessingOptions, qui indique comment traiter l'image d'entrée avant d'exécuter l'inférence. Notez que la valeur de la région d'intérêt n'est pas prise en charge par cette tâche. Si vous spécifiez ImageProcessingOptions.regionOfInterest(), cette méthode générera une exception IllegalArgumentException.
timestampMs l'horodatage d'entrée (en millisecondes) ;
Génère
IllegalArgumentException si ImageProcessingOptions spécifie une région d'intérêt.
en cas d'erreur interne.

public GestureRecognizerResult recognizeForVideo (MPImage image, longTimestampMs)

Effectue une reconnaissance des gestes sur l'image vidéo fournie avec les options de traitement d'image par défaut, c'est-à-dire sans aucune rotation. N'utilisez cette méthode que lorsque le GestureRecognizer est créé avec ERROR(/RunningMode.VIDEO).

Il est obligatoire de fournir le code temporel de l'image vidéo (en millisecondes). Les horodatages d'entrée doivent être croissants de manière monotone.

GestureRecognizer accepte les types d'espaces colorimétriques suivants:

Paramètres
Image un objet MPImage MediaPipe à traiter.
timestampMs l'horodatage d'entrée (en millisecondes) ;
Génère
en cas d'erreur interne.

public GestureRecognizerResult recognizeForVideo (MPImage image, ImageProcessingOptions imageProcessingOptions, longTimestampMs)

Effectue une reconnaissance gestuelle sur l'image vidéo fournie. N'utilisez cette méthode que lorsque le GestureRecognizer est créé avec ERROR(/RunningMode.VIDEO).

Il est obligatoire de fournir le code temporel de l'image vidéo (en millisecondes). Les horodatages d'entrée doivent être croissants de manière monotone.

GestureRecognizer accepte les types d'espaces colorimétriques suivants:

Paramètres
Image un objet MPImage MediaPipe à traiter.
imageProcessingOptions Le ImageProcessingOptions, qui indique comment traiter l'image d'entrée avant d'exécuter l'inférence. Notez que la valeur de la région d'intérêt n'est pas prise en charge par cette tâche. Si vous spécifiez ImageProcessingOptions.regionOfInterest(), cette méthode générera une exception IllegalArgumentException.
timestampMs l'horodatage d'entrée (en millisecondes) ;
Génère
IllegalArgumentException si ImageProcessingOptions spécifie une région d'intérêt.
en cas d'erreur interne.