Guía de incorporación de imágenes para Python

La tarea MediaPipe Image Embedder te permite convertir datos de imágenes en una representación numérica para realizar tareas de procesamiento de imágenes relacionadas con el AA, como comparar la similitud de dos imágenes. Estas instrucciones te muestran cómo usar la Incorporador de imágenes con Python.

Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.

Ejemplo de código

El ejemplo de código para Image Embedder ofrece una implementación completa de este en Python para tu referencia. Este código te ayuda a probar esta tarea y obtener empezaste a crear tu propia incorporación de imágenes. Puedes ver, ejecutar y editar la Ejemplo de incorporación de imágenes código usando solo un navegador web con Google Colab. Puedes ver el código fuente de este ejemplo sobre GitHub:

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar Image Embedder. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como requisitos de la versión de la plataforma, consulta la Guía de configuración de Python

Paquetes

El Incorporador de imágenes asigna el paquete mediapipe pip. Puedes instalar la dependencia con lo siguiente:

$ python -m pip install mediapipe

Importaciones

Importa las siguientes clases para acceder a las funciones de la tarea de la Incorporación de imágenes:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modelo

La tarea MediaPipe Image Embedder requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para Image Embedder, consulta la sección Modelos de la descripción general de la tarea.

Selecciona y descarga un modelo y, luego, guárdalo en un directorio local. Puedes usar las recomendaciones MobileNetV3 un modelo de responsabilidad compartida.

model_path = '/absolute/path/to/mobilenet_v3_small_075_224_embedder.tflite'

Especifica la ruta del modelo dentro del parámetro model_asset_path, como se muestra a continuación:

base_options = BaseOptions(model_asset_path=model_path)

Crea la tarea

Puedes usar la función create_from_options para crear la tarea. El La función create_from_options acepta las opciones de configuración para configurar la incorporación opciones de estado. Para obtener más información sobre las opciones de configuración, consulta Configuración Descripción general.

La tarea de Incorporación de imágenes admite 3 tipos de datos de entrada: imágenes fijas y archivos de video. y transmisiones de video en vivo. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    quantize=True,
    running_mode=VisionRunningMode.IMAGE)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    quantize=True,
    running_mode=VisionRunningMode.VIDEO)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ImageEmbedderResult = mp.tasks.vision.ImageEmbedder.ImageEmbedderResult
ImageEmbedder = mp.tasks.vision.ImageEmbedder
ImageEmbedderOptions = mp.tasks.vision.ImageEmbedderOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: ImageEmbedderResult, output_image: mp.Image, timestamp_ms: int):
    print('ImageEmbedderResult result: {}'.format(result))

options = ImageEmbedderOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    quantize=True,
    result_callback=print_result)

with ImageEmbedder.create_from_options(options) as embedder:
  # The embedder is initialized. Use it here.
  # ...
    

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para las aplicaciones de Python:

Preparar los datos

Prepara tu entrada como un archivo de imagen o un array de NumPy y, luego, conviértelo en un mediapipe.Image. Si se trata de un archivo de video o una transmisión en vivo desde un cámara web, puedes usar una biblioteca externa como OpenCV para cargar tus marcos de entrada como NumPy para los diferentes tipos de arrays.

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Ejecuta la tarea

Puedes llamar a la función de incorporación correspondiente a tu modo de ejecución para activar para hacer inferencias. La API de Image Embedder devolverá los vectores de incorporación para el imagen o marco de entrada.

# Perform image embedding on the provided single image.
embedding_result = embedder.embed(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform image embedding on the video frame.
embedding_result = embedder.embed_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform image embedding.
# Results are sent to the `result_callback` provided in the `ImageEmbedderOptions`.
embedder.embed_async(mp_image, frame_timestamp_ms)
    

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de video o de transmisión en vivo, también debes y proporcionarle a la tarea de Incorporación de imágenes la marca de tiempo del marco de entrada.
• Cuando se ejecuta en el modelo de imagen o video, la tarea de incorporación de imágenes bloquear el subproceso actual hasta que termine de procesar la imagen de entrada o marco.
• Cuando se ejecuta en modo de transmisión en vivo, la tarea de Incorporación de imágenes no bloquea el subproceso actual, pero se muestra inmediatamente. Invocará su resultado objeto de escucha con el resultado de incorporación cada vez que haya terminado de procesar un marco de entrada. Si se llama a la función embedAsync cuando se usa Image Embedder la tarea está ocupada procesando otro fotograma, la tarea ignora el nuevo marco de entrada.

Cómo controlar y mostrar resultados

Después de ejecutar la inferencia, la tarea de incorporación de imágenes muestra un ImageEmbedderResult. que contiene la lista de posibles categorías para los objetos dentro del imagen o marco de entrada.

A continuación, se muestra un ejemplo de los datos de salida de esta tarea:

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

Este resultado se obtuvo con la incorporación de la siguiente imagen:

Puedes comparar la similitud de dos incorporaciones con el función ImageEmbedder.cosine_similarity. Consulta el siguiente código para ver un ejemplo.

# Compute cosine similarity.
similarity = ImageEmbedder.cosine_similarity(
  embedding_result.embeddings[0],
  other_embedding_result.embeddings[0])