Guía de clasificación de imágenes para la Web

La tarea Clasificador de imágenes de MediaPipe te permite realizar la clasificación de imágenes. Puedes usar esta tarea para identificar lo que representa una imagen entre un conjunto de categorías definidas en el momento del entrenamiento. En estas instrucciones, se muestra cómo usar el clasificador de imágenes para apps web y de Node.

Puedes ver la tarea en acción en la demostración. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo del clasificador de imágenes proporciona una implementación completa de esta tarea en JavaScript para tu referencia. Este código te ayuda a probar esta tarea y comenzar a compilar tu propia app de clasificación de imágenes. Puedes ver, ejecutar y editar el código de ejemplo del clasificador de imágenes solo con tu navegador web.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente a fin de usar el clasificador de imágenes. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de la versión de la plataforma, consulta la Guía de configuración para la Web.

Paquetes de JavaScript

El código del clasificador de imágenes está disponible a través del paquete @mediapipe/tasks-vision NPM de MediaPipe. Puedes encontrar y descargar estas bibliotecas desde los vínculos que se proporcionan en la Guía de configuración de la plataforma.

Puedes instalar los paquetes necesarios con el siguiente código para la etapa de pruebas local con el siguiente comando:

npm install @mediapipe/tasks-vision

Si deseas importar el código de la tarea a través de un servicio de red de distribución de contenidos (CDN), agrega el siguiente código a la etiqueta de tu archivo HTML:

<!-- You can replace JSDeliver with another CDN if you prefer to -->
<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
    crossorigin="anonymous"></script>
</head>

Modelo

La tarea del clasificador de imágenes de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el clasificador de imágenes, consulta la descripción general de la tarea en la sección Modelos.

Selecciona y descarga un modelo, y almacénalo en el directorio del proyecto:

<dev-project-root>/app/shared/models/

Crea la tarea

Usa una de las funciones createFrom...() del clasificador de imágenes a fin de preparar la tarea para ejecutar inferencias. Usa la función createFromModelPath() con una ruta relativa o absoluta al archivo del modelo entrenado. Si tu modelo ya está cargado en la memoria, puedes usar el método createFromModelBuffer().

En el siguiente ejemplo de código, se muestra el uso de la función createFromOptions() para configurar la tarea. La función createFromOptions te permite personalizar el clasificador de imágenes con opciones de configuración. Para obtener más información sobre las opciones de configuración, consulta Opciones de configuración.

En el siguiente código, se muestra cómo compilar y configurar la tarea con opciones personalizadas:

async function createImageClassifier {
  const vision = await FilesetResolver.forVisionTasks(
    "https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.0/wasm"
  );
  imageClassifier = await ImageClassifier.createFromOptions(vision, {
    baseOptions: {
      modelAssetPath: `https://storage.googleapis.com/mediapipe-models/image_classifier/efficientnet_lite0/float32/1/efficientnet_lite0.tflite`
    },
  });
}

Opciones de configuración

Esta tarea incluye las siguientes opciones de configuración para las aplicaciones web:

Nombre de la opción	Descripción	Rango de valores	Valor predeterminado
`runningMode`	Establece el modo de ejecución para la tarea. Existen dos modos: IMAGE: El modo para entradas de una sola imagen. VIDEO: Es el modo para los fotogramas decodificados de un video o en una transmisión en vivo de datos de entrada, como los de una cámara.	{`IMAGE, VIDEO`}	`IMAGE`
`displayNamesLocale`	Configura el idioma de las etiquetas que se usarán para los nombres visibles proporcionados en los metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es `en` para inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado con la API de Metadata Writer de TensorFlow Lite	Código de configuración regional	en
`maxResults`	Configura la cantidad máxima opcional de resultados de clasificación con puntuación más alta que se mostrarán. Si es inferior a 0, se devolverán todos los resultados disponibles.	Cualquier número positivo	`-1`
`scoreThreshold`	Establece el umbral de puntuación de predicción que anula el proporcionado en los metadatos del modelo (si corresponde). Se rechazarán los resultados inferiores a este valor.	Cualquier número de punto flotante	No establecida
`categoryAllowlist`	Establece la lista opcional de nombres de categorías permitidas. Si no está vacío, se filtrarán los resultados de clasificación cuyo nombre de categoría no esté en este conjunto. Los nombres de categorías duplicados o desconocidos se ignoran. Esta opción es mutuamente excluyente con `categoryDenylist`, y el uso de ambos da como resultado un error.	Cualquier cadena	No establecida
`categoryDenylist`	Establece la lista opcional de nombres de categorías que no están permitidas. Si no está vacío, se filtrarán los resultados de clasificación cuyo nombre de categoría se encuentre en este conjunto. Los nombres de categorías duplicados o desconocidos se ignoran. Esta opción es mutuamente exclusiva con `categoryAllowlist`, y el uso de ambas da como resultado un error.	Cualquier cadena	No establecida
`resultListener`	Configura el objeto de escucha de resultados para recibir los resultados de clasificación de forma asíncrona cuando el clasificador de imágenes está en el modo de transmisión en vivo. Solo se puede usar cuando el modo de ejecución está configurado en `LIVE_STREAM`	N/A	No establecida

Preparar los datos

El clasificador de imágenes puede clasificar objetos en imágenes en cualquier formato compatible con el navegador del host. La tarea también controla el procesamiento previo de entrada de datos, incluido el cambio de tamaño, la rotación y la normalización de valores.

Las llamadas a los métodos classify() y classifyForVideo() del clasificador de imágenes se ejecutan de forma síncrona y bloquean el subproceso de interfaz de usuario. Si clasificas objetos en fotogramas de video desde la cámara de un dispositivo, cada clasificación bloqueará el subproceso principal. Puedes evitarlo implementando trabajadores web para que ejecuten classify() y classifyForVideo() en otro subproceso.

Ejecuta la tarea

El clasificador de imágenes usa el método classify() con modo de imagen y el método classifyForVideo() con modo video para activar inferencias. La API de clasificación de imágenes mostrará las categorías posibles para los objetos dentro de la imagen de entrada.

En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas:

De imagen

const image = document.getElementById("image") as HTMLImageElement;
const imageClassifierResult = imageClassifier.classify(image);

Video

const video = document.getElementById("video");
await imageClassifier.setOptions({ runningMode: "VIDEO" });

const timestamp = performance.now();
const classificationResult = await imageClassifier.classifyForVideo(
    video,
    timestamp
  );

Para obtener una implementación más completa de la ejecución de una tarea de clasificación de imágenes, consulta el ejemplo de código.

Cómo controlar y mostrar los resultados

Cuando se ejecuta la inferencia, la tarea del clasificador de imágenes muestra un objeto ImageClassifierResult que contiene la lista de categorías posibles para los objetos dentro de la imagen o el marco de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

Este resultado se obtiene ejecutando el Clasificador de aves en:

En el código de ejemplo del clasificador de imágenes, se demuestra cómo mostrar los resultados de clasificación que muestra la tarea. Consulta el ejemplo de código para obtener más información.