Guide des tâches de détection d'objets

La tâche de détection d'objets MediaPipe vous permet de détecter la présence et l'emplacement de plusieurs classes d'objets dans des images ou des vidéos. Par exemple, un détecteur d'objets peut localiser des chiens dans une image. Cette tâche fonctionne sur des données d'image avec un modèle de machine learning (ML), accepte des données statiques ou un flux vidéo continu en entrée et génère une liste de résultats de détection. Chaque résultat de détection représente un objet qui apparaît dans l'image ou la vidéo.

Essayez !arrow_forward

Premiers pas

Pour commencer à utiliser cette tâche, suivez l'un de ces guides d'implémentation pour la plate-forme sur laquelle vous travaillez:

• Android – Exemple de code – Guide
• Python – Exemple de code – Guide
• Web – Exemple de code – Guide
• iOS – Exemple de code – Guide

Ces guides spécifiques à la plate-forme vous expliquent comment implémenter de manière basique cette tâche, y compris un modèle recommandé et un exemple de code avec les options de configuration recommandées.

Détails de la tâche

Cette section décrit les fonctionnalités, les entrées et les sorties de cette tâche.

Fonctionnalités

• Traitement des images d'entrée : le traitement comprend la rotation, le redimensionnement, la normalisation et la conversion d'espaces colorimétriques.
• Label map locale (Libellé de la carte en paramètres régionaux) : définissez la langue utilisée pour les noms à afficher.
• Seuil de score : filtrez les résultats en fonction des scores de prédiction.
• Détection des k meilleurs : filtrez les résultats de détection des nombres.
• Liste d'autorisation et de refus des libellés : spécifiez les catégories détectées.

Options de configuration

Cette tâche propose les options de configuration suivantes:

Modèles

L'API Object Detector nécessite que vous téléchargiez et stockiez un modèle de détection d'objets dans le répertoire de votre projet. Si vous ne disposez pas encore d'un modèle, commencez par le modèle par défaut recommandé. Les autres modèles présentés dans cette section font des compromis entre la latence et la précision.

Modèle EfficientDet-Lite0 (recommandé)

Le modèle EfficientDet-Lite0 utilise un backbone EfficientNet-Lite0 avec une taille d'entrée de 320x320 et un réseau de caractéristiques BiFPN. Le modèle a été entraîné avec l'ensemble de données COCO, un ensemble de données de détection d'objets à grande échelle contenant 1,5 million d'instances d'objets et 80 étiquettes d'objets. Consultez la liste complète des libellés compatibles. EfficientDet-Lite0 est disponible en tant qu'int8, float16 ou float32. Ce modèle est recommandé, car il établit un équilibre entre la latence et la précision. Il est à la fois précis et suffisamment léger pour de nombreux cas d'utilisation.

Modèle EfficientDet-Lite2

Le modèle EfficientDet-Lite2 utilise un backbone EfficientNet-Lite2 avec une taille d'entrée de 448 x 448 et un réseau de caractéristiques BiFPN. Le modèle a été entraîné avec l'ensemble de données COCO, un ensemble de données de détection d'objets à grande échelle contenant 1,5 million d'instances d'objets et 80 étiquettes d'objets. Consultez la liste complète des libellés compatibles. EfficientDet-Lite2 est disponible en tant que modèle int8, float16 ou float32. Ce modèle est généralement plus précis qu'EfficientDet-Lite0, mais il est également plus lent et plus gourmand en mémoire. Ce modèle est adapté aux cas d'utilisation où la précision est plus prioritaire que la vitesse et la taille.

Modèle SSD MobileNetV2

Le modèle SSD MobileNetV2 utilise une colonne vertébrale MobileNetV2 avec une taille d'entrée de 256 x 256 et un réseau de caractéristiques SSD. Le modèle a été entraîné avec l'ensemble de données COCO, un ensemble de données de détection d'objets à grande échelle contenant 1,5 million d'instances d'objets et 80 étiquettes d'objets. Consultez la liste complète des libellés compatibles. SSD MobileNetV2 est disponible en tant que modèle int8 et float32. Ce modèle est plus rapide et plus léger qu'EfficientDet-Lite0, mais il est également généralement moins précis. Ce modèle est adapté aux cas d'utilisation qui nécessitent un modèle rapide et léger qui sacrifie une certaine précision.

Exigences concernant les modèles et métadonnées

Cette section décrit les exigences concernant les modèles personnalisés si vous décidez d'en créer un à utiliser avec cette tâche. Les modèles personnalisés doivent être au format TensorFlow Lite et doivent inclure des metadata décrivant les paramètres de fonctionnement du modèle.

Exigences de conception

Exigences concernant les métadonnées

Benchmarks des tâches

Voici les benchmarks de tâche pour les modèles pré-entraînés ci-dessus. Le résultat de la latence correspond à la latence moyenne sur le Pixel 6 à l'aide du processeur / GPU.