Guide interactif de segmentation d'image pour Android

La tâche MediaPipe Interactive Image Segmenter prend un emplacement dans une image, estime les limites d'un objet à cet emplacement et renvoie la segmentation de l'objet sous forme de données d'image. Ces instructions vous expliquent comment utiliser le segmentateur d'images interactif avec les applications Android. L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'une application de segmentation d'images interactive pour Android. L'exemple fonctionne avec des images sélectionnées dans la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer lorsque vous modifiez une application existante. L'exemple de code du segmenteur d'images interactif est hébergé sur GitHub.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code, procédez comme suit:

  1. Clonez le dépôt git à l'aide de la commande suivante : 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. Vous pouvez éventuellement configurer votre instance Git pour utiliser le paiement creux afin de n'avoir que les fichiers de l'exemple d'application Interactive Image Segmenter :
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/interactive_segmentation/android

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code crucial pour cet exemple d'application de segmentation d'images:

Préparation

Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code afin d'utiliser le segmentation d'images interactif. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris sur les exigences de version de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

Le segmentateur d'images interactif utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre projet de développement d'application Android. Importez les dépendances requises à l'aide du code suivant:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Interactive Image Segmenter nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Interactive Image Segmenter, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Utilisez la méthode BaseOptions.Builder.setModelAssetPath() pour spécifier le chemin d'accès utilisé par le modèle. Cette méthode est illustrée dans l'exemple de code de la section suivante.

Dans l'exemple de code de Interactive Image Segmenter, le modèle est défini dans la classe InteractiveSegmenterHelper.kt de la fonction setupInteractiveSegmenter().

Créer la tâche

Vous pouvez utiliser la fonction createFromOptions pour créer la tâche. La fonction createFromOptions accepte des options de configuration, y compris les types de sortie de masque. Pour en savoir plus sur les options de configuration, consultez la section Présentation de la configuration.

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

Pour obtenir un exemple plus détaillé de configuration de cette tâche, consultez la fonction setupInteractiveSegmenter() de la classe InteractiveSegmenterHelper.

Options de configuration

Cette tâche dispose des options de configuration suivantes pour les applications Android:

Nom de l'option Description Plage de valeurs Valeur par défaut
outputCategoryMask Si la valeur est True, la sortie inclut un masque de segmentation sous la forme d'une image uint8, où chaque valeur de pixel indique si le pixel fait partie de l'objet situé dans la zone d'intérêt. {True, False} False
outputConfidenceMasks Si la valeur est True, la sortie inclut un masque de segmentation sous la forme d'une image à valeur flottante, où chaque valeur flottante représente la confiance selon laquelle le pixel fait partie de l'objet situé dans la zone d'intérêt. {True, False} True
displayNamesLocale Définit la langue des libellés à utiliser pour les noms à afficher fournis dans les métadonnées du modèle de la tâche, le cas échéant. La valeur par défaut est en pour l'anglais. Vous pouvez ajouter des thèmes localisés aux métadonnées d'un modèle personnalisé à l'aide de l'API TensorFlow Lite Metadata Writer. Code des paramètres régionaux en
errorListener Définit un écouteur d'erreurs facultatif. N/A Non définie

Préparation des données

Interactive Image Segmenter fonctionne avec les images, et la tâche gère le prétraitement de la saisie des données, y compris le redimensionnement, la rotation et la normalisation de la valeur. Vous devez convertir l'image d'entrée en objet com.google.mediapipe.framework.image.MPImage avant de la transmettre à la tâche.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();

Dans l'exemple de code du Segment d'images interactif, la préparation des données est gérée dans la classe InteractiveSegmenterHelper par la fonction segment().

Exécuter la tâche

Appelez la fonction segment pour exécuter la prédiction et générer des segments. La tâche Interactive Image Segmenter renvoie les régions des segments identifiés dans l'image d'entrée.

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

Dans l'exemple de code du Segment d'images interactif, les fonctions segment sont définies dans le fichier InteractiveSegmenterHelper.kt.

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche Interactive Image Segmenter renvoie un objet ImageSegmenterResult contenant les résultats de la tâche de segmentation. Le contenu de la sortie peut inclure un masque de catégorie, un masque de confiance ou les deux, en fonction de ce que vous avez défini lors de la configuration de la tâche.

Les sections suivantes expliquent plus en détail les données de sortie de cette tâche:

Masque de catégorie

Les images suivantes montrent une visualisation de la sortie de tâche pour un masque de valeur de catégorie avec une zone de point d'intérêt indiquée. Chaque pixel est une valeur uint8 indiquant si le pixel fait partie de l'objet situé dans la zone d'intérêt. Le cercle noir et blanc de la deuxième image indique la zone d'intérêt sélectionnée.

Sortie de l'image d'origine et du masque de catégorie. Image source de l'ensemble de données Pascal VOC 2012.

Masque de confiance

La sortie d'un masque de confiance contient des valeurs flottantes comprises entre [0, 1] pour chaque canal d'entrée d'image. Des valeurs plus élevées indiquent un degré de confiance élevé pour que le pixel de l'image fasse partie de l'objet situé dans la zone d'intérêt.