Guía de clasificación de imágenes para Python

La tarea del clasificador de imágenes MediaPipe te permite clasificar imágenes. Puedes usar esta tarea para identificar lo que representa una imagen en un conjunto de categorías definidas durante el entrenamiento. Estas instrucciones te muestran cómo usar el clasificador de imágenes con Python.

Puedes ver esta tarea en acción en el sitio web demo. Para más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo para el clasificador de imágenes proporciona una implementación completa de este en Python para tu referencia. Este código te ayuda a probar esta tarea y obtener empezaste a crear tu propio clasificador de imágenes. Puedes ver, ejecutar y editar la Ejemplo de clasificador de imágenes código usando solo el navegador web.

Si quieres implementar el clasificador de imágenes para Raspberry Pi, consulta la Ejemplo de Raspberry Pi de la app.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el clasificador de imágenes. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como requisitos de la versión de la plataforma, consulta la Guía de configuración de Python

Paquetes

El clasificador de imágenes asigna el paquete mediapipe pip. Puedes instalar el dependencia con lo siguiente:

$ python -m pip install mediapipe
``` ### Imports

Import the following classes to access the Image Classifier task functions:

```python
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea del clasificador de imágenes MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si quieres obtener más información sobre los modelos entrenados disponibles para el clasificador de imágenes, consulta la sección Modelos de la descripción general de la tarea.

Selecciona y descarga un modelo y, luego, guárdalo en un directorio local. Puedes usar las recomendaciones EfficientNet-Lite0 un modelo de responsabilidad compartida.

model_path = '/absolute/path/to/efficientnet_lite0_int8_2.tflite'

Especifica la ruta del modelo dentro del parámetro Model Name, como se muestra a continuación:

base_options = BaseOptions(model_asset_path=model_path)

Crea la tarea

Usa la función create_from_options para crear la tarea. El La función create_from_options acepta opciones de configuración, como la ejecución modo, configuración regional de los nombres visibles, cantidad máxima de resultados, umbral de confianza, la lista de categorías permitidas y la lista de bloqueo. Para obtener más información sobre la configuración consulta Descripción general de la configuración.

La tarea del clasificador de imágenes admite 3 tipos de datos de entrada: imágenes fijas y archivos de video. y transmisiones de video en vivo. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageClassifierResult = mp.tasks.vision.ImageClassifier.ImageClassifierResult
ImageClassifier = mp.tasks.vision.ImageClassifier
ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: ImageClassifierResult, output_image: mp.Image, timestamp_ms: int):
    print('ImageClassifierResult result: {}'.format(result))

options = ImageClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ImageClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

Consulta un ejemplo completo de cómo crear un clasificador de imágenes para usar con una imagen: el código ejemplo.

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para las aplicaciones de Python:

Preparar los datos

Prepara tu entrada como un archivo de imagen o un array de NumPy y, luego, conviértelo en un mediapipe.Image. Si se trata de un archivo de video o una transmisión en vivo desde un cámara web, puedes usar una biblioteca externa como OpenCV para cargar tus marcos de entrada como NumPy para los diferentes tipos de arrays.

Los siguientes ejemplos explican y muestran cómo preparar los datos para su procesamiento en cada uno de los tipos de datos disponibles

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Ejecuta la tarea

Puedes llamar a la función de clasificación correspondiente a tu modo de ejecución para activar para hacer inferencias. La API de clasificación de imágenes devolverá las categorías posibles para el dentro de la imagen o el marco de entrada.

# Perform image classification on the provided single image.
classification_result = classifier.classify(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform image classification on the video frame.
classification_result = classifier.classify_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform image classification.
# Results are sent to the `result_callback` provided in the `ImageClassifierOptions`.
classifier.classify_async(mp_image, frame_timestamp_ms)
    

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes y proporcionarle a la tarea de clasificación de imágenes la marca de tiempo del marco de entrada.
• Cuando se ejecuta en el modelo de imagen o video, la tarea de clasificación de imágenes bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco.
• Cuando se ejecuta en el modo de transmisión en vivo, la tarea del clasificador de imágenes no bloquea el subproceso actual, pero se muestra inmediatamente. Invocará su resultado objeto de escucha con el resultado de clasificación cada vez que haya finalizado el procesamiento de una trama de entrada. Si se llama a la función classifyAsync cuando la tarea del clasificador de imágenes está ocupada procesando otro fotograma, la tarea ignora el nuevo marco de entrada.

Consulta un ejemplo completo de cómo crear un clasificador de imágenes para usar con una imagen: el código ejemplo.

Cómo controlar y mostrar resultados

Luego de ejecutar la inferencia, la tarea del clasificador de imágenes devuelve un Un objeto ImageClassifierResult que contiene la lista de categorías posibles para los objetos dentro de la imagen o el marco de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

Este resultado se obtuvo mediante la ejecución del clasificador de aves el:

El código de ejemplo del clasificador de imágenes demuestra cómo mostrar la clasificación resultados devueltos por la tarea, consulta el código ejemplo para conocer los detalles.