La tâche de détection d'objets MediaPipe vous permet de détecter la présence et l'emplacement de plusieurs classes d'objets. Ces instructions vous expliquent comment utiliser la tâche Détecteur d'objets en Python. L'exemple de code décrit dans ces instructions est disponible sur GitHub.
Pour voir cette tâche en action, regardez la démonstration Web. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.
Exemple de code
L'exemple de code pour le détecteur d'objets fournit une implémentation complète de cette tâche en Python à titre de référence. Ce code vous aide à tester cette tâche et à commencer à créer votre propre application de classification de texte. Vous pouvez afficher, exécuter et modifier l'exemple de code du détecteur d'objets à l'aide de votre navigateur Web.
Si vous implémentez le détecteur d'objets pour Raspberry Pi, consultez l'application exemple pour Raspberry Pi.
Configuration
Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement et vos projets de code spécifiquement pour utiliser Object Detector. Pour en savoir plus sur la configuration de votre environnement de développement afin d'utiliser les tâches MediaPipe, y compris les exigences concernant les versions de la plate-forme, consultez le guide de configuration pour Python.
Colis
La tâche de détection d'objets nécessite le package pip mediapipe. Vous pouvez installer les paquets requis à l'aide des commandes suivantes:
$ python -m pip install mediapipe
Importations
Importez les classes suivantes pour accéder aux fonctions de tâche du détecteur d'objets:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Modèle
La tâche de détection d'objets MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Object Detector, consultez la section Modèles de la présentation de la tâche.
Sélectionnez et téléchargez un modèle, puis stockez-le dans un répertoire local:
model_path = '/absolute/path/to/lite-model_efficientdet_lite0_detection_metadata_1.tflite'
Utilisez le paramètre model_asset_path
de l'objet BaseOptions
pour spécifier le chemin d'accès au modèle à utiliser. Pour obtenir un exemple de code, consultez la section suivante.
Créer la tâche
Utilisez la fonction create_from_options
pour créer la tâche. La fonction create_from_options
accepte des options de configuration, y compris le mode d'exécution, les paramètres régionaux des noms à afficher, le nombre maximal de résultats, le seuil de confiance, la liste d'autorisation de catégorie et la liste de refus. Si vous ne définissez pas d'option de configuration, la tâche utilise la valeur par défaut. Pour en savoir plus sur les options de configuration, consultez la section Options de configuration.
La tâche Détecteur d'objets accepte plusieurs types de données d'entrée: images fixes, fichiers vidéo et flux vidéo en direct. Sélectionnez l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer la tâche et exécuter l'inférence.
Image
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ObjectDetector = mp.tasks.vision.ObjectDetector ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ObjectDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.IMAGE) with ObjectDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Vidéo
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ObjectDetector = mp.tasks.vision.ObjectDetector ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ObjectDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.VIDEO) with ObjectDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Diffusion en direct
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions DetectionResult = mp.tasks.components.containers.detections.DetectionResult ObjectDetector = mp.tasks.vision.ObjectDetector ObjectDetectorOptions = mp.tasks.vision.ObjectDetectorOptions VisionRunningMode = mp.tasks.vision.RunningMode def print_result(result: DetectionResult, output_image: mp.Image, timestamp_ms: int): print('detection result: {}'.format(result)) options = ObjectDetectorOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), running_mode=VisionRunningMode.LIVE_STREAM, max_results=5, result_callback=print_result) with ObjectDetector.create_from_options(options) as detector: # The detector is initialized. Use it here. # ...
Pour obtenir un exemple complet de création d'un détecteur d'objets à utiliser avec une image, consultez l'exemple de code.
Options de configuration
Cette tâche propose les options de configuration suivantes pour les applications Python:
Nom de l'option | Description | Plage de valeurs | Valeur par défaut |
---|---|---|---|
running_mode |
Définit le mode d'exécution de la tâche. Il existe trois modes: IMAGE: mode pour les entrées d'une seule image. VIDEO: mode des images décodées d'une vidéo. LIVE_STREAM: mode de diffusion en direct des données d'entrée, par exemple à partir d'une caméra. Dans ce mode, resultListener doit être appelé pour configurer un écouteur afin de recevoir les résultats de manière asynchrone. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
display_names |
Définit la langue des libellés à utiliser pour les noms à afficher fournis dans les métadonnées du modèle de la tâche, le cas échéant. La valeur par défaut est en pour l'anglais. Vous pouvez ajouter des libellés localisés aux métadonnées d'un modèle personnalisé à l'aide de l'API TensorFlow Lite Metadata Writer.
|
Code de paramètres régionaux | en |
max_results |
Définit le nombre maximal facultatif de résultats de détection les plus élevés à renvoyer. | N'importe quel nombre positif | -1 (tous les résultats sont renvoyés) |
score_threshold |
Définit le seuil de score de prédiction qui remplace celui fourni dans les métadonnées du modèle (le cas échéant). Les résultats inférieurs à cette valeur sont rejetés. | N'importe quelle superposition | Non défini |
category_allowlist |
Définit la liste facultative des noms de catégories autorisés. Si cet ensemble n'est pas vide, les résultats de détection dont le nom de catégorie ne figure pas dans cet ensemble seront filtrés. Les noms de catégories en double ou inconnus sont ignorés.
Cette option s'exclut mutuellement avec category_denylist . L'utilisation des deux entraîne une erreur. |
N'importe quelle chaîne | Non défini |
category_denylist |
Définit la liste facultative des noms de catégories non autorisés. Si cet ensemble n'est pas vide, les résultats de détection dont le nom de catégorie figure dans cet ensemble seront filtrés. Les noms de catégories en double ou inconnus sont ignorés. Cette option s'exclut mutuellement avec category_allowlist . L'utilisation des deux entraîne une erreur. |
Toutes les chaînes | Non défini |
Préparer les données
Préparez votre entrée en tant que fichier image ou tableau numpy, puis convertissez-la en objet mediapipe.Image
. Si votre entrée est un fichier vidéo ou une diffusion en direct depuis une webcam, vous pouvez utiliser une bibliothèque externe telle que OpenCV pour charger vos frames d'entrée en tant que tableaux numpy.
Les exemples suivants expliquent et montrent comment préparer les données pour le traitement pour chacun des types de données disponibles:
Image
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Vidéo
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Diffusion en direct
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Exécuter la tâche
Vous pouvez appeler l'une des fonctions de détection pour déclencher des inférences. La tâche Object Detector renvoie les objets détectés dans l'image ou le frame d'entrée.
Image
# Perform object detection on the provided single image. detection_result = detector.detect(mp_image)
Vidéo
# Calculate the timestamp of the current frame frame_timestamp_ms = 1000 * frame_index / video_file_fps # Perform object detection on the video frame. detection_result = detector.detect_for_video(mp_image, frame_timestamp_ms)
Diffusion en direct
# Send the latest frame to perform object detection. # Results are sent to the `result_callback` provided in the `ObjectDetectorOptions`. detector.detect_async(mp_image, frame_timestamp_ms)
Pour obtenir un exemple complet d'exécution d'un détecteur d'objets sur une image, consultez l'exemple de code.
Veuillez noter les points suivants :
- Lorsque vous exécutez le mode vidéo ou le mode de diffusion en direct, vous devez également fournir à la tâche de détection d'objets le code temporel du frame d'entrée.
- Lorsqu'elle s'exécute dans le modèle d'image ou de vidéo, la tâche du détecteur d'objets bloque le thread actuel jusqu'à ce qu'elle ait terminé de traiter l'image ou le frame d'entrée.
- Lorsqu'elle s'exécute en mode diffusion en direct, la tâche du détecteur d'objets ne bloque pas le thread actuel, mais renvoie immédiatement. Il appelle son écouteur de résultats avec le résultat de la détection chaque fois qu'il a terminé le traitement d'un frame d'entrée. Si la fonction de détection est appelée lorsque la tâche du détecteur d'objets est occupée à traiter un autre frame, le nouveau frame d'entrée sera ignoré.
Gérer et afficher les résultats
Lors de l'exécution de l'inférence, la tâche Object Detector renvoie un objet ObjectDetectionResult
qui décrit les objets qu'elle a trouvés dans l'image d'entrée.
Voici un exemple des données de sortie de cette tâche:
ObjectDetectorResult:
Detection #0:
Box: (x: 355, y: 133, w: 190, h: 206)
Categories:
index : 17
score : 0.73828
class name : dog
Detection #1:
Box: (x: 103, y: 15, w: 138, h: 369)
Categories:
index : 17
score : 0.73047
class name : dog
L'image suivante présente une visualisation du résultat de la tâche:
L'exemple de code du détecteur d'objets montre comment afficher les résultats de détection renvoyés par la tâche. Pour en savoir plus, consultez l'exemple de code.