Guide interactif de segmentation d'image pour Android

La tâche "Segmenter des images interactives MediaPipe" prend un emplacement dans une image, estime les limites de un objet à cet emplacement, puis renvoie la segmentation de l'objet sous la forme données d'image. Ces instructions vous expliquent comment utiliser le segmenteur d'images interactif avec Applications Android. L'exemple de code décrit dans ces instructions est disponible sur GitHub Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks est une implémentation simple d'un segmenteur d'images interactif pour Android. Cet exemple fonctionne avec des images sélectionnées dans la galerie de l'appareil.

Vous pouvez utiliser l'application comme point de départ pour votre propre application Android ou vous y référer. lorsque vous modifiez une application existante. L'exemple de code du Segmenter d'images interactif est hébergé sur GitHub

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple à l'aide de l'outil de ligne de commande git.

<ph type="x-smartling-placeholder">

Pour télécharger l'exemple de code:

  1. Clonez le dépôt Git à l'aide de la commande suivante: 
    git clone https://github.com/google-ai-edge/mediapipe-samples
  2. Vous pouvez éventuellement configurer votre instance Git pour utiliser le paiement creuse. Vous n'avez donc que les fichiers de l'exemple d'application de segmentation d'images interactive: 
    cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/interactive_segmentation/android

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez les Guide de configuration pour Android

Composants clés

Les fichiers suivants contiennent le code essentiel pour cette image Exemple d'application de segmentation:

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement pour utiliser le Segmenter d'images interactif. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris versions de la plate-forme requises, consultez la Guide de configuration pour Android

<ph type="x-smartling-placeholder">

Dépendances

Le segmenteur d'images interactif utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajouter au fichier build.gradle de votre Projet de développement d'applications Android. Importez les dépendances requises avec le code suivant:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Interactive Image Segmenter nécessite un modèle entraîné compatible avec tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le segmenteur d'images interactif, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Utiliser la méthode BaseOptions.Builder.setModelAssetPath() pour spécifier le chemin d'accès utilisées par le modèle. Cette méthode est illustrée dans l'exemple de code de la .

Dans l'outil de segmentation d'images interactif exemple de code, le modèle est défini dans l'élément InteractiveSegmenterHelper.kt. dans la fonction setupInteractiveSegmenter().

Créer la tâche

Vous pouvez utiliser la fonction createFromOptions pour créer la tâche. La La fonction createFromOptions accepte les options de configuration, y compris masques de sortie. Pour en savoir plus sur la configuration consultez la page Présentation de la configuration.

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener(exception -> {
         // Process the segmentation errors here.
    })    
    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

Pour obtenir un exemple plus détaillé de la configuration de cette tâche, consultez la InteractiveSegmenterHelper setupInteractiveSegmenter().

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Android:

Nom de l'option Description Plage de valeurs Valeur par défaut
outputCategoryMask Si la valeur est True, le résultat inclut un masque de segmentation. en tant qu'image uint8, où chaque valeur de pixel indique si le pixel fait partie l'objet situé dans la zone d'intérêt. {True, False} False
outputConfidenceMasks Si la valeur est True, le résultat inclut un masque de segmentation. en tant qu'image d'une valeur flottante, où chaque valeur flottante représente le niveau de confiance que le pixel fait partie de l'objet situé dans la zone d'intérêt. {True, False} True
displayNamesLocale Définit la langue des libellés à utiliser pour les noms à afficher fournis dans les les métadonnées du modèle de la tâche, le cas échéant. La valeur par défaut est en pour anglais. Vous pouvez ajouter des libellés localisés aux métadonnées d'un modèle personnalisé à l'aide de l'API TensorFlow Lite Metadata Writer ; Code des paramètres régionaux en
errorListener Définit un écouteur d'erreurs facultatif. N/A Non défini

Préparer les données

Le segment d'images interactif fonctionne avec les images, et la tâche gère la saisie des données le prétraitement, y compris le redimensionnement, la rotation et la normalisation des valeurs. Vous devez convertir l'image d'entrée en com.google.mediapipe.framework.image.MPImage avant de le transmettre à tâche.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
MPImage mpImage = new BitmapImageBuilder(bitmap).build();

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

Dans l'exemple de code du segmenteur d'images interactif, les fonctions segment sont définies dans le InteractiveSegmenterHelper.kt .

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche "Segmenteur d'images interactif" renvoie une Un objet ImageSegmenterResult qui contient les résultats de de segmentation. Le contenu de la sortie peut inclure un masque de catégorie, masque de confiance, ou les deux, selon ce que vous avez défini lorsque vous configuré la tâche.

Les sections suivantes expliquent plus en détail les données de sortie de cette tâche:

Masque de catégorie

Les images suivantes illustrent le résultat des tâches pour une catégorie de valeur avec une zone de point d'intérêt indiquée. Chaque pixel est une uint8 valeur indiquant si le pixel fait partie de l'objet situé dans la zone de d’intérêt. Le cercle noir et blanc sur la deuxième image indique d'une zone d'intérêt.

Sortie du masque d'image d'origine et de catégorie. Image source de la Pascal VOC 2012 ensemble de données.

Masque de confiance

La sortie d'un masque de confiance contient des valeurs flottantes comprises entre [0, 1] pour chaque canal d'entrée d'image. Des valeurs plus élevées indiquent un niveau de confiance élevé le pixel d'image fait partie de l'objet situé dans la zone d'intérêt.