Guía de clasificación de imágenes para Android

La tarea del clasificador de imágenes MediaPipe te permite clasificar imágenes. Puedes usar esta tarea para identificar lo que representa una imagen entre un conjunto de categorías definidas en el momento del entrenamiento. En estas instrucciones, se muestra cómo usar el clasificador de imágenes con apps para Android. La muestra de código que se describe en estas instrucciones está disponible en GitHub.

Puedes ver esta tarea en acción viendo la demostración web. Para obtener más información sobre las funciones, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación simple de una app de clasificación de imágenes para Android. En el ejemplo, se usa la cámara de un dispositivo Android físico para clasificar objetos de manera continua. También se pueden usar imágenes y videos de la galería del dispositivo para clasificar objetos de forma estática.

Puedes usar la app como punto de partida para tu propia app para Android o hacer referencia a ella cuando modifiques una app existente. El código de ejemplo del clasificador de imágenes se aloja en GitHub.

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del código de ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

1. Clona el repositorio de Git con el siguiente comando:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. De manera opcional, configura tu instancia de Git para que use el resultado disperso, de modo que solo tengas los archivos de la app de ejemplo del clasificador de imágenes:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_classification/android
   

   .

Después de crear una versión local del código de ejemplo, puedes importar el proyecto a Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración para Android.

Componentes clave

Los siguientes archivos contienen el código crucial para esta aplicación de ejemplo de clasificación de imágenes:

• ImageClassifierHelper.kt: Inicializa el clasificador de imágenes y controla la selección del modelo y del delegado.
• MainActivity.kt: Implementa la aplicación y llama a ImageClassificationHelper y ClassificationResultsAdapter.
• ClassificationResultsAdapter.kt: Controla los resultados y les da formato.

Configuración

En esta sección, se describen los pasos clave para configurar el entorno de desarrollo y los proyectos de código para usar el clasificador de imágenes. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

El clasificador de imágenes usa la biblioteca com.google.mediapipe:tasks-vision. Agrega esta dependencia al archivo build.gradle de tu proyecto de desarrollo de apps para Android. Importa las dependencias necesarias con el siguiente código:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modelo

La tarea del clasificador de imágenes MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el clasificador de imágenes, consulta la descripción general de la tarea Sección de modelos.

Selecciona y descarga el modelo; luego, guárdalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Usa el método BaseOptions.Builder.setModelAssetPath() para especificar la ruta que usa el modelo. Este método se menciona en el ejemplo de código en la siguiente sección.

En el código de ejemplo del clasificador de imágenes, el modelo se define en el archivo ImageClassifierHelper.kt.

Crea la tarea

Puedes usar la función createFromOptions para crear la tarea. La función createFromOptions acepta opciones de configuración que incluyen el modo de ejecución, la configuración regional de los nombres visibles, la cantidad máxima de resultados, el umbral de confianza y una lista de categorías permitidas o denegadas. Para obtener más información sobre las opciones de configuración, consulta Descripción general de la configuración.

La tarea del clasificador de imágenes admite 3 tipos de datos de entrada: imágenes estáticas, archivos de video y transmisiones de video en vivo. Cuando crees la tarea, debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);
    

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);
    

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setMaxResults(5)
    .setResultListener((result, inputImage) -> {
         // Process the classification result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the classification errors here.
    })
    .build()
imageClassifier = ImageClassifier.createFromOptions(context, options)
    

La implementación del código de ejemplo del clasificador de imágenes permite al usuario cambiar entre los modos de procesamiento. El enfoque hace que el código de creación de tareas sea más complicado y puede no ser apropiado para tu caso de uso. Puedes ver este código en la función setupImageClassifier() del archivo ImageClassifierHelper.kt.

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para apps para Android:

prepara los datos

El clasificador de imágenes funciona con imágenes, archivos de video y videos de transmisión en vivo. La tarea maneja el procesamiento previo de la entrada de datos, incluidos el cambio de tamaño, la rotación y la normalización de valores.

Debes convertir la imagen o el marco de entrada en un objeto com.google.mediapipe.framework.image.MPImage antes de pasarlo al clasificador de imágenes.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames 
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis, 
// extract the encapsulated Android’s Image object and convert it to 
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

En el código de ejemplo del clasificador de imágenes, la preparación de los datos se controla en el archivo ImageClassifierHelper.kt.

Ejecuta la tarea

Puedes llamar a la función classify correspondiente a tu modo de ejecución para activar inferencias. La API de clasificación de imágenes muestra las posibles categorías para el objeto dentro de la imagen o el marco de entrada.

ImageClassifierResult classifierResult = imageClassifier.classify(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageClassifierResult classifierResult =
    imageClassifier.classifyForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The classifications results will be available 
// via the `resultListener` provided in the `ImageClassifierOptions` when 
// the image classifier was created.
imageClassifier.classifyAsync(image, frameTimestampMs);
    

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes proporcionar la marca de tiempo del fotograma de entrada a la tarea del clasificador de imágenes.
• Cuando se ejecuta en el modo de imagen o video, la tarea del clasificador de imágenes bloquea el subproceso actual hasta que termina de procesar la imagen o el marco de entrada. Para evitar el bloqueo de la interfaz de usuario, ejecuta el procesamiento en un subproceso en segundo plano.
• Cuando se ejecuta en el modo de transmisión en vivo, la tarea del clasificador de imágenes no bloquea el subproceso actual, pero se muestra de inmediato. Invocará su objeto de escucha de resultados con el resultado de la detección cada vez que termine de procesar un fotograma de entrada. Si se llama a la función classifyAsync cuando la tarea del clasificador de imágenes está ocupada procesando otro fotograma, la tarea ignora el nuevo marco de entrada.

En el código de ejemplo del clasificador de imágenes, las funciones classify se definen en el archivo ImageClassifierHelper.kt.

Cómo controlar y mostrar resultados

Después de ejecutar la inferencia, la tarea del clasificador de imágenes muestra un objeto ImageClassifierResult que contiene la lista de categorías posibles para los objetos dentro de la imagen o el marco de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

Este resultado se obtuvo mediante la ejecución del clasificador de aves en:

En el código de ejemplo del clasificador de imágenes, la clase ClassificationResultsAdapter del archivo ClassificationResultsAdapter.kt controla los resultados:

fun updateResults(imageClassifierResult: ImageClassifierResult? = null) {
    categories = MutableList(adapterSize) { null }
    if (imageClassifierResult != null) {
        val sortedCategories = imageClassifierResult.classificationResult()
            .classifications()[0].categories().sortedBy { it.index() }
        val min = kotlin.math.min(sortedCategories.size, categories.size)
        for (i in 0 until min) {
            categories[i] = sortedCategories[i]
        }
    }
}