Introducing LiteRT: El entorno de ejecución de alto rendimiento de Google para la IA integrada en el dispositivo, antes conocido como TensorFlow Lite.

Se usó la API de Cloud Translation para traducir esta página.

Guía de reconocimiento de gestos para Android

La tarea de reconocimiento de gestos de MediaPipe te permite reconocer gestos de la mano en tiempo real. proporciona resultados de gestos reconocidos y puntos de referencia de la mano del manos detectadas. Estas instrucciones te muestran cómo usar el Reconocedor de gestos con las aplicaciones de Android. La muestra de código descrita en estas instrucciones está disponible en GitHub.

Para ver esta tarea en acción, consulta el demostración web. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de tareas de MediaPipe es una implementación simple de un reconocedor de gestos para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para detectan los gestos de las manos de forma continua y pueden usar imágenes y videos de la galería de dispositivos para detectar gestos de forma estática.

Puedes usar la app como punto de partida para tu propia app para Android o hacer referencia a ella. cuando se modifica una app existente. El código de ejemplo del Reconocedor de gestos se aloja en GitHub:

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

Clona el repositorio de Git con el siguiente comando:

git clone https://github.com/google-ai-edge/mediapipe-samples

De forma opcional, configura tu instancia de Git para que use el resultado escaso. Solo tienes los archivos de la app de ejemplo de Reconocedor de gestos:
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/gesture_recognizer/android
```

Después de crear una versión local del código de ejemplo, puedes importar el proyecto en Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración para Android

Componentes clave

Los siguientes archivos contienen el código esencial para este gesto con la mano de reconocimiento de aplicaciones de ejemplo:

GestureRecognizerHelper.kt: Inicializa el reconocedor de gestos y controla el modelo y el delegado. selección.
MainActivity.kt: Implementa la aplicación, lo que incluye llamar a GestureRecognizerHelper y GestureRecognizerResultsAdapter
GestureRecognizerResultsAdapter.kt: Maneja y formatea los resultados.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el Reconocedor de gestos. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

La tarea Reconocedor de gestos usa el com.google.mediapipe:tasks-vision biblioteca. Agrega esta dependencia al archivo build.gradle de tu app para Android:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modelo

La tarea Reconocedor de gestos de MediaPipe requiere un paquete de modelos entrenados compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para el Reconocedor de gestos, consulta la sección Modelos en la descripción general de la tarea.

Selecciona y descarga el modelo, y almacénalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Especifica la ruta del modelo dentro del parámetro ModelAssetPath. En la código de ejemplo, el modelo se define en el archivo GestureRecognizerHelper.kt archivo:

baseOptionBuilder.setModelAssetPath(MP_RECOGNIZER_TASK)

Crea la tarea

La tarea del Reconocedor de gestos de MediaPipe usa la función createFromOptions() para establecer para completar la tarea. La función createFromOptions() acepta valores para las opciones de configuración. Para obtener más información sobre las opciones de configuración, consulta Opciones de configuración.

El Reconocedor de gestos admite 3 tipos de datos de entrada: imágenes fijas, archivos de video y transmisiones de video por Internet en vivo. Debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada cuando crees la tarea. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

Imagen

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_RECOGNIZER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    GestureRecognizer.GestureRecognizerOptions.builder()
        .setBaseOptions(baseOptions)
        .setMinHandDetectionConfidence(minHandDetectionConfidence)
        .setMinTrackingConfidence(minHandTrackingConfidence)
        .setMinHandPresenceConfidence(minHandPresenceConfidence)
        .setRunningMode(RunningMode.IMAGE)

val options = optionsBuilder.build()
gestureRecognizer =
    GestureRecognizer.createFromOptions(context, options)

Video

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_RECOGNIZER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    GestureRecognizer.GestureRecognizerOptions.builder()
        .setBaseOptions(baseOptions)
        .setMinHandDetectionConfidence(minHandDetectionConfidence)
        .setMinTrackingConfidence(minHandTrackingConfidence)
        .setMinHandPresenceConfidence(minHandPresenceConfidence)
        .setRunningMode(RunningMode.VIDEO)

val options = optionsBuilder.build()
gestureRecognizer =
    GestureRecognizer.createFromOptions(context, options)

Transmisión en vivo

val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(MP_RECOGNIZER_TASK)
val baseOptions = baseOptionBuilder.build()

val optionsBuilder =
    GestureRecognizer.GestureRecognizerOptions.builder()
        .setBaseOptions(baseOptions)
        .setMinHandDetectionConfidence(minHandDetectionConfidence)
        .setMinTrackingConfidence(minHandTrackingConfidence)
        .setMinHandPresenceConfidence(minHandPresenceConfidence)
        .setResultListener(this::returnLivestreamResult)
        .setErrorListener(this::returnLivestreamError)
        .setRunningMode(RunningMode.LIVE_STREAM)

val options = optionsBuilder.build()
gestureRecognizer =
    GestureRecognizer.createFromOptions(context, options)

La implementación del código de ejemplo del Reconocedor de gestos permite al usuario cambiar entre modos de procesamiento. Este enfoque hace que el código de creación de tareas sea más complicado y pueden no ser adecuados para tu caso de uso. Puedes ver este código en la función setupGestureRecognizer() en GestureRecognizerHelper.kt .

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para apps para Android:

Nombre de la opción	Descripción	Rango de valores	Valor predeterminado
`runningMode`	Establece el modo de ejecución de la tarea. Existen tres modos: IMAGE: Es el modo para entradas de una sola imagen. VIDEO: es el modo de los fotogramas decodificados de un video. LIVE_STREAM: Es el modo para una transmisión en vivo de entradas. datos, como los de una cámara. En este modo, resultListener debe se llama para configurar un objeto de escucha que reciba resultados de forma asíncrona.	{`IMAGE, VIDEO, LIVE_STREAM`}	`IMAGE`
`numHands`	La cantidad máxima de manos puede ser detectada por `GestureRecognizer`	`Any integer > 0`	`1`
`minHandDetectionConfidence`	La puntuación de confianza mínima para la detección de la mano considerado exitoso en el modelo de detección de palma.	`0.0 - 1.0`	`0.5`
`minHandPresenceConfidence`	La puntuación de confianza mínima de la puntuación de presencia de la mano en la mano de detección de puntos de referencia. En el modo video y el modo de transmisión en vivo del Reconocedor de gestos, si la puntuación de confianza de la presencia de la mano del modelo de punto de referencia de la mano es inferior este umbral, activa el modelo de detección de palma. De lo contrario, el algoritmo de rastreo de manos livianos se usa para determinar la ubicación de las manos para la posterior detección de puntos de referencia.	`0.0 - 1.0`	`0.5`
`minTrackingConfidence`	La puntuación de confianza mínima para que se considere el seguimiento de la mano y exitoso. Este es el umbral de IoU del cuadro delimitador entre manos en el fotograma actual y el último. En los modos Video y Transmisión de Reconocedor de gestos; si falla el seguimiento, Reconocedor de gestos activa la mano de detección de intrusiones. De lo contrario, se omitirá la detección de la mano.	`0.0 - 1.0`	`0.5`
`cannedGesturesClassifierOptions`	Opciones para configurar el comportamiento del clasificador de gestos estándar. Los gestos estándar son `["None", "Closed_Fist", "Open_Palm", "Pointing_Up", "Thumb_Down", "Thumb_Up", "Victory", "ILoveYou"]` Configuración regional de los nombres visibles: Es la configuración regional que se usa para los nombres visibles que se especifican a través de los metadatos del modelo de TFLite, si corresponde. Resultados máximos: la cantidad máxima de resultados de clasificación con la puntuación más alta que se mostrarán. Si < 0, se devolverán todos los resultados disponibles. Umbral de puntuación: Es la puntuación por debajo del cual se rechazan los resultados. Si se establece en 0, se devolverán todos los resultados disponibles. Lista de entidades permitidas de categorías: Es la lista de entidades permitidas de nombres de categorías. Si no está vacío, se filtrarán los resultados de clasificación cuya categoría no esté en este conjunto. Este campo y la lista de bloqueo son mutuamente excluyentes. Lista de bloqueo de categoría: Es la lista de bloqueo de nombres de categorías. Si no está vacío, se filtrarán los resultados de clasificación cuya categoría esté en este conjunto. Mutuamente excluyentes con la lista de entidades permitidas.	Configuración regional de los nombres visibles: `any string` Máx. de resultados: `any integer` Umbral de puntuación: `0.0-1.0` Lista de categorías permitidas: `vector of strings` Lista de bloqueo de categoría: `vector of strings`	Configuración regional de los nombres visibles: `"en"` Máx. de resultados: `-1` Umbral de puntuación: `0` Lista de categorías permitidas: vacía Lista de bloqueo de la categoría: vacía
`customGesturesClassifierOptions`	Opciones para configurar el comportamiento del clasificador de gestos personalizados. Configuración regional de los nombres visibles: Es la configuración regional que se usa para los nombres visibles que se especifican a través de los metadatos del modelo de TFLite, si corresponde. Resultados máximos: la cantidad máxima de resultados de clasificación con la puntuación más alta que se mostrarán. Si < 0, se devolverán todos los resultados disponibles. Umbral de puntuación: Es la puntuación por debajo del cual se rechazan los resultados. Si se establece en 0, se devolverán todos los resultados disponibles. Lista de entidades permitidas de categorías: Es la lista de entidades permitidas de nombres de categorías. Si no está vacío, se filtrarán los resultados de clasificación cuya categoría no esté en este conjunto. Este campo y la lista de bloqueo son mutuamente excluyentes. Lista de bloqueo de categoría: Es la lista de bloqueo de nombres de categorías. Si no está vacío, se filtrarán los resultados de clasificación cuya categoría esté en este conjunto. Mutuamente excluyentes con la lista de entidades permitidas.	Configuración regional de los nombres visibles: `any string` Máx. de resultados: `any integer` Umbral de puntuación: `0.0-1.0` Lista de categorías permitidas: `vector of strings` Lista de bloqueo de categoría: `vector of strings`	Configuración regional de los nombres visibles: `"en"` Máx. de resultados: `-1` Umbral de puntuación: `0` Lista de categorías permitidas: vacía Lista de bloqueo de la categoría: vacía
`resultListener`	Configura el objeto de escucha de resultados para recibir los resultados de clasificación de forma asíncrona cuando el reconocedor de gestos está en el modo de transmisión en vivo. Solo se puede usar cuando el modo de ejecución está establecido en `LIVE_STREAM`	`ResultListener`	N/A	N/A
`errorListener`	Configura un objeto de escucha de errores opcional.	`ErrorListener`	N/A	N/A

Preparar los datos

El Reconocedor de gestos funciona con imágenes, archivos de video y videos de transmisión en vivo. La tarea Controla el procesamiento previo de la entrada de datos, incluidos el cambio de tamaño, la rotación y el valor. normalización.

En el siguiente código, se muestra cómo entregar datos para su procesamiento. Tesis incluyen detalles sobre cómo manejar datos de imágenes, archivos de video y datos transmisiones continuas de video por Internet.

Imagen

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(image).build()

Video

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

val argb8888Frame =
    if (frame.config == Bitmap.Config.ARGB_8888) frame
    else frame.copy(Bitmap.Config.ARGB_8888, false)

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(argb8888Frame).build()

Transmisión en vivo

import com.google.mediapipe.framework.image.BitmapImageBuilder
import com.google.mediapipe.framework.image.MPImage

// Convert the input Bitmap object to an MPImage object to run inference
val mpImage = BitmapImageBuilder(rotatedBitmap).build()

En la de ejemplo de Reconocedor de gestos, la preparación de los datos se controla en GestureRecognizerHelper.kt .

Ejecuta la tarea

El reconocedor de gestos usa recognize, recognizeForVideo y recognizeAsync. funciones para activar inferencias. Para el reconocimiento de gestos, esto implica procesamiento previo de los datos de entrada, detección de manos en la imagen, detección de mano puntos de referencia y reconocer gestos con manos de los puntos de referencia.

En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tarea. Estas muestras incluyen detalles sobre cómo manejar datos de imágenes, archivos de video, y transmisiones de video en vivo.

Imagen

val result = gestureRecognizer?.recognize(mpImage)

Video

val timestampMs = i * inferenceIntervalMs

gestureRecognizer?.recognizeForVideo(mpImage, timestampMs)
    ?.let { recognizerResult ->
        resultList.add(recognizerResult)
    }

Transmisión en vivo

val mpImage = BitmapImageBuilder(rotatedBitmap).build()
val frameTime = SystemClock.uptimeMillis()

gestureRecognizer?.recognizeAsync(mpImage, frameTime)

Ten en cuenta lo siguiente:

Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes proporcionan la marca de tiempo del fotograma de entrada a la tarea del Reconocedor de gestos.
Cuando se ejecuta en el modo de imagen o video, la tarea Reconocedor de gestos bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco. Para evitar bloquear la interfaz de usuario, ejecuta el procesamiento en un subproceso en segundo plano.
Cuando se ejecuta en el modo de transmisión en vivo, la tarea Reconocedor de gestos no bloquea el subproceso actual, pero se muestra inmediatamente. Invocará su resultado objeto de escucha con el resultado del reconocimiento cada vez que haya terminado de procesarse un marco de entrada. Si se llama a la función de reconocimiento cuando el Reconocedor de gestos la tarea está ocupada procesando otro fotograma, la tarea ignorará el nuevo marco de entrada.

En la código de ejemplo del Reconocedor de gestos, recognize, recognizeForVideo y Las funciones recognizeAsync se definen en el GestureRecognizerHelper.kt .

Cómo controlar y mostrar resultados

El Reconocedor de gestos genera un objeto de resultado de detección de gestos para cada reconocimiento. El objeto result contiene puntos de referencia de la mano en coordenadas de imágenes. puntos de referencia de la mano en coordenadas mundiales, mano(izquierda/derecha) y mano categorías de gestos de las manos detectadas.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

El GestureRecognizerResult resultante contiene cuatro componentes, cada uno de los cuales es un array, en el que cada elemento contiene el resultado detectado de una sola mano detectada.

Mano dominante

La Mano dominante representa si las manos detectadas son la izquierda o la derecha.
Gestos

Las categorías de gestos reconocidas de las manos detectadas.
Puntos de referencia

Hay 21 puntos de referencia de la mano, cada uno compuesto por coordenadas x, y y z. El Las coordenadas x y y se normalizan a [0.0, 1.0] por el ancho de la imagen y altura, respectivamente. La coordenada z representa la profundidad del punto de referencia, con y la profundidad en la muñeca es el origen. Cuanto menor sea el valor, más cerca punto de referencia a la cámara. La magnitud de z usa más o menos la misma escala que x
Monumentos universales

Los 21 puntos de referencia de las manos también se presentan en coordenadas mundiales. Cada punto de referencia está compuesto por x, y y z, que representan coordenadas 3D del mundo real en metros con el origen en el centro geométrico de la mano.

GestureRecognizerResult:
  Handedness:
    Categories #0:
      index        : 0
      score        : 0.98396
      categoryName : Left
  Gestures:
    Categories #0:
      score        : 0.76893
      categoryName : Thumb_Up
  Landmarks:
    Landmark #0:
      x            : 0.638852
      y            : 0.671197
      z            : -3.41E-7
    Landmark #1:
      x            : 0.634599
      y            : 0.536441
      z            : -0.06984
    ... (21 landmarks for a hand)
  WorldLandmarks:
    Landmark #0:
      x            : 0.067485
      y            : 0.031084
      z            : 0.055223
    Landmark #1:
      x            : 0.063209
      y            : -0.00382
      z            : 0.020920
    ... (21 world landmarks for a hand)

En las siguientes imágenes, se muestra una visualización del resultado de la tarea:

En la código de ejemplo del Reconocedor de gestos, la clase GestureRecognizerResultsAdapter de la GestureRecognizerResultsAdapter.kt controla los resultados.