Guide de détection d'objets pour Python

La tâche de détection d'objets MediaPipe vous permet de détecter la présence et l'emplacement de plusieurs d'objets. Ces instructions vous expliquent comment utiliser le détecteur d'objets dans Python. L'exemple de code décrit dans ces instructions est disponible sur GitHub

Pour voir concrètement cette tâche, regardez la démonstration Web. Pour en savoir plus sur les fonctionnalités, les modèles et de configuration de cette tâche, consultez la Présentation.

Exemple de code

L'exemple de code pour le détecteur d'objets fournit une implémentation complète de ce dans Python à titre de référence. Ce code vous aide à tester cette tâche et à obtenir vous avez commencé à créer votre propre application de classification de texte. Vous pouvez afficher, exécuter modifier l'exemple de code du détecteur d'objets. en utilisant uniquement votre navigateur Web.

Si vous implémentez le détecteur d'objets pour Raspberry Pi, consultez le Exemple pour Raspberry Pi l'application Nest.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement projets de code spécifiquement pour utiliser le détecteur d'objets. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris versions de la plate-forme requises, consultez la Guide de configuration pour Python

Colis

La tâche de détection d'objets nécessite le package pip mediapipe. Vous pouvez installer les packages requis à l'aide des commandes suivantes:

$ python -m pip install mediapipe

Importations

Importez les classes suivantes pour accéder aux fonctions des tâches du détecteur d'objets:

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision

Modèle

La tâche de détection d'objets MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le détecteur d'objets, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez un modèle, puis stockez-le dans un répertoire local:

model_path = '/absolute/path/to/lite-model_efficientdet_lite0_detection_metadata_1.tflite'

Utilisez le paramètre model_asset_path de l'objet BaseOptions pour spécifier le chemin d'accès. du modèle à utiliser. Pour obtenir un exemple de code, consultez la section suivante.

Créer la tâche

Utilisez la fonction create_from_options pour créer la tâche. La La fonction create_from_options accepte les options de configuration, y compris l'exécution mode, paramètres régionaux des noms à afficher, nombre maximal de résultats, seuil de confiance, la liste d'autorisation des catégories et la liste de refus. Si vous ne définissez pas d'option de configuration, la tâche utilise la valeur par défaut. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.

La tâche de détection d'objets accepte plusieurs types de données d'entrée: images fixes, vidéos des fichiers et des flux vidéo en direct. Sélectionnez l'onglet correspondant à vos données d'entrée. pour découvrir comment créer la tâche et exécuter l'inférence.

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.IMAGE)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=VisionRunningMode.VIDEO)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

import mediapipe as mp

BaseOptions = mp.tasks.BaseOptions
DetectionResult = mp.tasks.components.containers.detections.DetectionResult
ObjectDetector = mp.tasks.vision.ObjectDetector
ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions
VisionRunningMode = mp.tasks.vision.RunningMode

def print_result(result: DetectionResult, output_image: mp.Image, timestamp_ms: int):
    print('detection result: {}'.format(result))

options = ObjectDetectorOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=VisionRunningMode.LIVE_STREAM,
    max_results=5,
    result_callback=print_result)

with ObjectDetector.create_from_options(options) as detector:
  # The detector is initialized. Use it here.
  # ...
    

Pour obtenir un exemple complet de création d'un détecteur d'objets à utiliser avec une image, consultez exemple de code.

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Python:

Préparer les données

Préparez votre entrée sous forme de fichier image ou de tableau Numpy. puis le convertir en objet mediapipe.Image. Si votre entrée est un fichier vidéo ou une diffusion en direct depuis une webcam, vous pouvez utiliser une bibliothèque externe telle que OpenCV pour charger vos frames d'entrée au format Numpy ; tableaux.

Les exemples suivants expliquent et montrent comment préparer les données pour le traitement pour chacun des types de données disponibles:

import mediapipe as mp

# Load the input image from an image file.
mp_image = mp.Image.create_from_file('/path/to/image')

# Load the input image from a numpy array.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to load the input video.

# Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS
# You’ll need it to calculate the timestamp for each frame.

# Loop through each frame in the video using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

import mediapipe as mp

# Use OpenCV’s VideoCapture to start capturing from the webcam.

# Create a loop to read the latest frame from the camera using VideoCapture#read()

# Convert the frame received from OpenCV to a MediaPipe’s Image object.
mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
    

Exécuter la tâche

Vous pouvez appeler l'une des fonctions de détection pour déclencher des inférences. L'objet La tâche de détecteur renvoie les objets détectés dans l'image ou le cadre d'entrée.

# Perform object detection on the provided single image.
detection_result = detector.detect(mp_image)
    

# Calculate the timestamp of the current frame
frame_timestamp_ms = 1000 * frame_index / video_file_fps

# Perform object detection on the video frame.
detection_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
    

# Send the latest frame to perform object detection.
# Results are sent to the `result_callback` provided in the `ObjectDetectorOptions`.
detector.detect_async(mp_image, frame_timestamp_ms)
    

Pour obtenir un exemple complet d'exécution d'un détecteur d'objets sur une image, consultez exemple de code.

Veuillez noter les points suivants :

• Lorsque vous êtes en mode vidéo ou flux en direct, vous devez également fournir à la tâche de détection d'objets le code temporel de la trame d'entrée.
• Lors de son exécution dans le modèle d'image ou vidéo, la tâche de détection d'objets bloquer le thread actuel jusqu'à ce qu'il ait fini de traiter l'image d'entrée ou cadre.
• Lors de l'exécution en mode de flux en direct, la tâche de détection d'objets ne bloque pas le thread actuel, mais renvoie immédiatement. Elle appellera son résultat avec le résultat de la détection chaque fois que le traitement d'une trame d'entrée. Si la fonction de détection est appelée lorsque la tâche de détection d'objets est occupé à traiter une autre trame, la nouvelle trame d'entrée sera ignorée.

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche de détection d'objets renvoie une Un objet ObjectDetectionResult qui décrit les objets qu'il a trouvés dans l'image d'entrée.

Voici un exemple de données de sortie de cette tâche:

ObjectDetectorResult:
 Detection #0:
  Box: (x: 355, y: 133, w: 190, h: 206)
  Categories:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1:
  Box: (x: 103, y: 15, w: 138, h: 369)
  Categories:
   index       : 17
   score       : 0.73047
   class name  : dog

L'image suivante montre une visualisation du résultat de la tâche:

L'exemple de code du détecteur d'objets montre comment afficher la détection renvoyés par la tâche, consultez la exemple de code pour en savoir plus.