Guide des tâches de détection d'objets

La tâche de détecteur d'objets MediaPipe vous permet de détecter la présence et l'emplacement de plusieurs classes d'objets dans des images ou des vidéos. Par exemple, un détecteur d'objets peut localiser des chiens dans une image. Cette tâche traite des données d'image avec un modèle de machine learning (ML), qui accepte des données statiques ou un flux vidéo continu en tant qu'entrée et génère une liste de résultats de détection. Chaque résultat de détection représente un objet qui apparaît dans l'image ou la vidéo.

Essayerarrow_forward

Commencer

Commencez à utiliser cette tâche en suivant l'un des guides d'implémentation suivants pour la plate-forme sur laquelle vous travaillez:

• Android – Exemple de code – Guide
• Python – Exemple de code – Guide
• Web – Exemple de code – Guide
• iOS – Exemple de code – Guide

Ces guides spécifiques à la plate-forme vous guident tout au long de l'implémentation de base de cette tâche, avec un modèle et un exemple de code recommandés, ainsi que des options de configuration recommandées.

Détails de la tâche

Cette section décrit les capacités, les entrées et les sorties de cette tâche.

Caractéristiques

• Traitement de l'image d'entrée : le traitement comprend la rotation, le redimensionnement, la normalisation et la conversion de l'espace colorimétrique.
• Paramètres régionaux de la carte des libellés : permet de définir la langue à utiliser pour les noms à afficher.
• Seuil de score : filtre les résultats en fonction des scores de prédiction.
• Top-k Detection (Détection des top-k) : filtre les résultats de la détection de numéros.
• Liste d'autorisation et liste de blocage de libellés : spécifiez les catégories détectées.

Options de configuration

Cette tâche comporte les options de configuration suivantes:

Modèles

L'API Object Detector nécessite le téléchargement et le stockage d'un modèle de détection d'objets dans le répertoire de votre projet. Si vous ne disposez pas encore d'un modèle, commencez par le modèle recommandé par défaut. Les autres modèles présentés dans cette section font des compromis entre latence et précision.

Modèle EffectiveDet-Lite0 (recommandé)

Le modèle EffectiveDet-Lite0 utilise un réseau backbone EffectiveNet-Lite0 avec une taille d'entrée de 320 x 320 et un réseau de caractéristiques BiFPN. Le modèle a été entraîné avec l'ensemble de données COCO, un ensemble de données de détection d'objets à grande échelle contenant 1,5 million d'instances d'objets et 80 étiquettes d'objets. Consultez la liste complète des étiquettes acceptées. EffectiveDet-Lite0 est disponible en tant que valeur int8, float16 ou float32. Ce modèle est recommandé, car il offre un bon compromis entre latence et justesse. Il est à la fois précis et léger pour de nombreux cas d'utilisation.

Modèle EffectiveDet-Lite2

Le modèle EffectiveDet-Lite2 utilise un réseau backbone EffectiveNet-Lite2 avec une taille d'entrée de 448 x 448 et un réseau de caractéristiques BiFPN. Le modèle a été entraîné avec l'ensemble de données COCO, un ensemble de données de détection d'objets à grande échelle contenant 1,5 million d'instances d'objets et 80 étiquettes d'objets. Consultez la liste complète des étiquettes acceptées. EffectiveDet-Lite2 est disponible sous forme de modèle int8, float16 ou float32. Ce modèle est généralement plus précis que EffectiveDet-Lite0, mais il est également plus lent et plus gourmand en mémoire. Ce modèle convient aux cas d'utilisation où la précision prime sur la vitesse et la taille.

Modèle MobileNetV2 SSD

Le modèle MobileNetV2 SSD utilise un réseau backbone MobileNetV2 avec une taille d'entrée de 256 x 256 et un réseau de fonctionnalités SSD. Le modèle a été entraîné avec l'ensemble de données COCO, un ensemble de données de détection d'objets à grande échelle contenant 1,5 million d'instances d'objets et 80 étiquettes d'objets. Consultez la liste complète des étiquettes acceptées. SSD MobileNetV2 est disponible sous la forme d'un modèle int8 et float 32. Ce modèle est plus rapide et plus léger que EffectiveDet-Lite0, mais il est généralement moins précis. Ce modèle convient aux cas d'utilisation nécessitant un modèle rapide et léger qui sacrifie la précision.

Exigences et métadonnées du modèle

Cette section décrit les exigences relatives aux modèles personnalisés si vous décidez de créer un modèle à utiliser pour cette tâche. Les modèles personnalisés doivent être au format TensorFlow Lite et inclure des métadonnées décrivant les paramètres de fonctionnement du modèle.

Exigences de conception

Exigences concernant les métadonnées

Benchmarks de tâches

Voici les benchmarks de tâches pour les modèles pré-entraînés ci-dessus. Le résultat correspond à la latence moyenne sur le Pixel 6 en utilisant le processeur / le GPU.