Guide interactif de segmentation d'image pour Android

La tâche de segmentation d'image interactive MediaPipe prend un emplacement dans une image, estime les limites d'un objet à cet emplacement et renvoie la segmentation de l'objet sous forme de données d'image. Ces instructions vous expliquent comment utiliser le segmenteur d'images interactif avec les applications Android. L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'une application de segmentation d'images interactive pour Android. L'exemple fonctionne avec les images sélectionnées dans la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer lorsque vous modifiez une application existante. L'exemple de code du segmenteur d'images interactif est hébergé sur GitHub.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code:

1. Clonez le dépôt Git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Vous pouvez également configurer votre instance git pour utiliser un "checkout" clairsemé afin de n'avoir que les fichiers de l'exemple d'application Interactive Image Segmenter:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/interactive_segmentation/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code essentiel de cet exemple d'application de segmentation d'images:

• InteractiveSegmentationHelper.kt : initialise la tâche de segmentation d'image interactive et gère le modèle et la sélection du délégué.
• OverlayView.kt : gère et met en forme les résultats de segmentation.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement et vos projets de code afin d'utiliser le segmenteur d'images interactif. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour utiliser les tâches MediaPipe, y compris les exigences concernant les versions de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

Le segmenteur d'images interactif utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre projet de développement d'application Android. Importez les dépendances requises avec le code suivant:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche de segmentation d'images interactive MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le segmenteur d'images interactif, consultez la section Modèles de la présentation de la tâche.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Utilisez la méthode BaseOptions.Builder.setModelAssetPath() pour spécifier le chemin d'accès utilisé par le modèle. Cette méthode est illustrée dans l'exemple de code de la section suivante.

Dans l'exemple de code de l'outil Interactive Image Segmenter, le modèle est défini dans la classe InteractiveSegmenterHelper.kt dans la fonction setupInteractiveSegmenter().

Créer la tâche

Vous pouvez utiliser la fonction createFromOptions pour créer la tâche. La fonction createFromOptions accepte des options de configuration, y compris des types de sortie de masque. Pour en savoir plus sur les options de configuration, consultez la section Présentation de la configuration.

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener(exception -> {
         // Process the segmentation errors here.
    })    
    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

Pour obtenir un exemple plus détaillé de configuration de cette tâche, consultez la fonction setupInteractiveSegmenter() de la classe InteractiveSegmenterHelper.

Options de configuration

Cette tâche propose les options de configuration suivantes pour les applications Android:

Préparer les données

Le segmenteur d'images interactif fonctionne avec des images. La tâche gère le prétraitement de l'entrée de données, y compris le redimensionnement, la rotation et la normalisation des valeurs. Vous devez convertir l'image d'entrée en objet com.google.mediapipe.framework.image.MPImage avant de la transmettre à la tâche.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
MPImage mpImage = new BitmapImageBuilder(bitmap).build();

Dans l'exemple de code du segmenteur d'images interactif, la préparation des données est gérée dans la classe InteractiveSegmenterHelper par la fonction segment().

Exécuter la tâche

Appelez la fonction segment pour exécuter la prédiction et générer des segments. La tâche "Segmenteur d'images interactif" renvoie les régions de segment identifiées dans l'image d'entrée.

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

Dans l'exemple de code du segmenteur d'images interactif, les fonctions segment sont définies dans le fichier InteractiveSegmenterHelper.kt.

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche Interactive Image Segmenter renvoie un objet ImageSegmenterResult contenant les résultats de la tâche de segmentation. Le contenu de la sortie peut inclure un masque de catégorie, un masque de confiance ou les deux, en fonction de ce que vous avez défini lorsque vous avez configuré la tâche.

Les sections suivantes expliquent plus en détail les données de sortie de cette tâche:

Masque de catégorie

Les images suivantes montrent une visualisation de la sortie de la tâche pour un masque de valeur de catégorie avec une zone d'intérêt indiquée. Chaque pixel est une valeur uint8 indiquant si le pixel fait partie de l'objet situé dans la zone d'intérêt. Le cercle noir et blanc de la deuxième image indique la zone d'intérêt sélectionnée.

Image d'origine et sortie du masque de catégorie. Image source de l'ensemble de données Pascal VOC 2012.

Masque de confiance

La sortie d'un masque de confiance contient des valeurs flottantes comprises entre [0, 1] pour chaque canal d'entrée d'image. Des valeurs plus élevées indiquent une plus grande confiance que le pixel de l'image fait partie de l'objet situé dans la zone d'intérêt.