La tarea del clasificador de imágenes MediaPipe te permite clasificar imágenes. Puedes usar esta tarea para identificar lo que representa una imagen en un conjunto de categorías definidas durante el entrenamiento. Estas instrucciones te muestran cómo usar el clasificador de imágenes para aplicaciones web y de nodos.
Para ver esta tarea en acción, consulta el demostración. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo para el clasificador de imágenes proporciona una implementación completa de este en JavaScript para tu referencia. Este código te ayuda a probar la tarea y comienza a compilar tu propia app de clasificación de imágenes. Puedes ver, ejecutar y editar el Código de ejemplo del clasificador de imágenes usando solo el navegador web.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el clasificador de imágenes. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para la Web.
Paquetes de JavaScript
El código del clasificador de imágenes está disponible a través de MediaPipe @mediapipe/tasks-vision.
NPM. Puedes
encuentra y descarga estas bibliotecas desde los vínculos proporcionados en la plataforma.
Guía de configuración.
Puedes instalar los paquetes obligatorios con el siguiente código para la etapa de pruebas local con el siguiente comando:
npm install @mediapipe/tasks-vision
Si quieres importar el código de la tarea a través de una red de distribución de contenidos (CDN) agrega el siguiente código en la etiqueta de tu archivo HTML:
<!-- You can replace JSDeliver with another CDN if you prefer to -->
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
crossorigin="anonymous"></script>
</head>
Modelo
La tarea del clasificador de imágenes MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el clasificador de imágenes, consulta la sección Modelos de la descripción general de la tarea.
Selecciona y descarga un modelo y, luego, guárdalo en el directorio de tu proyecto:
<dev-project-root>/app/shared/models/
Crea la tarea
Usa una de las funciones createFrom...() del clasificador de imágenes para lo siguiente:
preparan la tarea para ejecutar inferencias. Usa el createFromModelPath()
con una ruta de acceso absoluta o relativa al archivo de modelo entrenado.
Si tu modelo ya está cargado en la memoria, puedes usar
createFromModelBuffer().
En el siguiente ejemplo de código, se demuestra el uso de la función createFromOptions() para
configurar la tarea. La función createFromOptions te permite personalizar la
Clasificador de imágenes con opciones de configuración. Para obtener más información sobre la configuración
consulta Opciones de configuración.
En el siguiente código, se muestra cómo compilar y configurar la tarea con Opciones:
async function createImageClassifier {
const vision = await FilesetResolver.forVisionTasks(
"https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision@0.10.0/wasm"
);
imageClassifier = await ImageClassifier.createFromOptions(vision, {
baseOptions: {
modelAssetPath: `https://storage.googleapis.com/mediapipe-models/image_classifier/efficientnet_lite0/float32/1/efficientnet_lite0.tflite`
},
});
}
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para las aplicaciones web:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
runningMode |
Establece el modo de ejecución de la tarea. Existen dos
modos: IMAGE: Es el modo para entradas de una sola imagen. VIDEO: el modo para fotogramas decodificados de una o en una transmisión en vivo de datos de entrada, como los de una cámara. |
{IMAGE, VIDEO} |
IMAGE |
displayNamesLocale |
Configura el idioma de las etiquetas que se usarán para los nombres visibles que se proporcionan en la
metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es en para
Inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado
con la API de Metadata Writer de TensorFlow Lite |
Código de configuración regional | en |
maxResults |
Establece el número máximo opcional de resultados de la clasificación con puntuación más alta en el resultado. Si < 0, se devolverán todos los resultados disponibles. | Cualquier número positivo | -1 |
scoreThreshold |
Establece el umbral de puntuación de predicción que anula el que se proporciona en los metadatos del modelo (si los hay). Se rechazarán los resultados por debajo de este valor. | Cualquier número de punto flotante | Sin establecer |
categoryAllowlist |
Establece la lista opcional de nombres de categorías permitidas. Si no está vacío,
los resultados de clasificación cuyo nombre de categoría no se encuentre en este conjunto serán
filtrado. Se ignoran los nombres de categoría duplicados o desconocidos.
Esta opción es mutuamente excluyente con categoryDenylist y usa
ambos darán como resultado un error. |
Cualquier cadena | Sin establecer |
categoryDenylist |
Establece la lista opcional de nombres de categorías que no están permitidos. Si
no vacío, los resultados de clasificación cuyo nombre de categoría se encuentre en este conjunto se filtrarán
y sale de ella. Se ignoran los nombres de categoría duplicados o desconocidos. Esta opción es mutuamente
excluyente con categoryAllowlist y usar ambos dará como resultado un error. |
Cualquier cadena | Sin establecer |
resultListener |
Configura el objeto de escucha de resultados para recibir los resultados de clasificación
de forma asíncrona cuando el clasificador de imágenes esté en la transmisión en vivo
. Solo se puede usar cuando el modo de ejecución está establecido en LIVE_STREAM |
N/A | Sin establecer |
Preparar los datos
El clasificador de imágenes puede clasificar objetos en imágenes en cualquier formato que admita navegador del host. La tarea también maneja el procesamiento previo de la entrada de datos, lo que incluye cambio de tamaño, rotación y normalización de valores.
Las llamadas a los métodos classify() y classifyForVideo() del clasificador de imágenes se ejecutan
de forma síncrona y bloquea el subproceso de la interfaz de usuario. Si clasificas objetos en
fotogramas de video desde la cámara de un dispositivo, cada clasificación bloqueará la principal
conversación. Para evitar esto, implementa trabajadores web para que se ejecuten
classify() y classifyForVideo() en otro subproceso.
Ejecuta la tarea
El clasificador de imágenes usa el método classify() con el modo de imagen y
el método classifyForVideo() con el modo video para activar
para hacer inferencias. La API de clasificación de imágenes devolverá las categorías posibles
para los objetos dentro de la imagen de entrada.
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas:
Imagen
const image = document.getElementById("image") as HTMLImageElement; const imageClassifierResult = imageClassifier.classify(image);
Video
const video = document.getElementById("video"); await imageClassifier.setOptions({ runningMode: "VIDEO" }); const timestamp = performance.now(); const classificationResult = await imageClassifier.classifyForVideo( video, timestamp );
Para obtener una implementación más completa de la ejecución de una tarea del clasificador de imágenes, consulta el ejemplo de código de muestra).
Cómo controlar y mostrar resultados
Luego de ejecutar la inferencia, la tarea del clasificador de imágenes devuelve un
Un objeto ImageClassifierResult que contiene la lista de categorías posibles
para los objetos dentro de la imagen o el marco de entrada.
A continuación, se muestra un ejemplo de los datos de salida de esta tarea:
ImageClassifierResult:
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "/m/01bwb9"
display name: "Passer domesticus"
score: 0.91406
index: 671
category #1:
category name: "/m/01bwbt"
display name: "Passer montanus"
score: 0.00391
index: 670
Este resultado se obtuvo mediante la ejecución del clasificador de aves el:
El código de ejemplo del clasificador de imágenes demuestra cómo mostrar la clasificación resultados que devolvió la tarea, consulta la ejemplo de código para conocer los detalles.