Guide de segmentation d'image pour Android

La tâche de segmentation d'images MediaPipe vous permet de diviser les images en régions en fonction de catégories prédéfinies pour appliquer des effets visuels tels que le floutage de l'arrière-plan. Ces instructions vous expliquent comment utiliser le segmenteur d'images avec les applications Android. L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks contient deux implémentations simples d'une application de segmentation d'images pour Android:

• Segmenteur d'images avec un masque de catégorie
• Segmenteur d'images avec un masque de confiance

Les exemples utilisent l'appareil photo d'un appareil Android physique pour effectuer une segmentation d'image sur un flux d'appareil photo en direct. Vous pouvez également choisir des images et des vidéos dans la galerie de l'appareil. Vous pouvez utiliser ces applications comme point de départ pour votre propre application Android ou vous y référer lorsque vous modifiez une application existante. L'exemple de code du segmenteur d'images est hébergé sur GitHub.

Les sections suivantes font référence à l'application Segmenteur d'images avec un masque de catégorie.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code:

1. Clonez le dépôt Git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Vous pouvez également configurer votre instance Git pour utiliser un "checkout sparse" afin de n'avoir que les fichiers de l'application exemple Image Segmenter:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code essentiel de cet exemple d'application de segmentation d'images:

• ImageSegmenterHelper.kt : initialise la tâche Image Segmenter et gère le modèle et la sélection du délégué.
• CameraFragment.kt : fournit l'interface utilisateur et le code de contrôle d'une caméra.
• GalleryFragment.kt : fournit l'interface utilisateur et le code de contrôle pour sélectionner des fichiers image et vidéo.
• OverlayView.kt : gère et met en forme les résultats de segmentation.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement et vos projets de code afin d'utiliser Image Segmenter. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour utiliser les tâches MediaPipe, y compris les exigences concernant les versions de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

Image Segmenter utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre projet de développement d'application Android. Importez les dépendances requises avec le code suivant:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche de segmentation d'images MediaPipe nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour Image Segmenter, consultez la section Modèles de la présentation de la tâche.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Utilisez la méthode BaseOptions.Builder.setModelAssetPath() pour spécifier le chemin d'accès utilisé par le modèle. Cette méthode est référencée dans l'exemple de code de la section suivante.

Dans l'exemple de code du segmenteur d'images, le modèle est défini dans la classe ImageSegmenterHelper.kt dans la fonction setupImageSegmenter().

Créer la tâche

Vous pouvez utiliser la fonction createFromOptions pour créer la tâche. La fonction createFromOptions accepte des options de configuration, y compris les types de sortie de masque. Pour en savoir plus sur la configuration des tâches, consultez la section Options de configuration.

La tâche de segmentation d'images accepte les types de données d'entrée suivants: images fixes, fichiers vidéo et flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant à votre type de données d'entrée lorsque vous créez la tâche. Sélectionnez l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer cette tâche.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

L'implémentation de l'exemple de code du segmenteur d'images permet à l'utilisateur de basculer entre les modes de traitement. Cette approche rend le code de création de tâche plus complexe et n'est peut-être pas adaptée à votre cas d'utilisation. Vous pouvez voir ce code dans la classe ImageSegmenterHelper par la fonction setupImageSegmenter().

Options de configuration

Cette tâche propose les options de configuration suivantes pour les applications Android:

Préparer les données

Le segmenteur d'images fonctionne avec les images, les fichiers vidéo et les vidéos en direct. La tâche gère le prétraitement de l'entrée des données, y compris le redimensionnement, la rotation et la normalisation des valeurs.

Vous devez convertir l'image ou le frame d'entrée en objet com.google.mediapipe.framework.image.MPImage avant de le transmettre au segmenteur d'images.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Dans l'exemple de code de l'outil de segmentation d'images, la préparation des données est gérée dans la classe ImageSegmenterHelper par la fonction segmentLiveStreamFrame().

Exécuter la tâche

Vous appelez une fonction segment différente en fonction du mode d'exécution que vous utilisez. La fonction Image Segmenter renvoie les régions de segment identifiées dans l'image ou le frame d'entrée.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Veuillez noter les points suivants :

• Lorsque vous exécutez le mode vidéo ou le mode de diffusion en direct, vous devez également fournir le code temporel du frame d'entrée à la tâche de segmentation d'images.
• Lorsqu'elle s'exécute en mode image ou vidéo, la tâche de segmentation d'image bloque le thread actuel jusqu'à ce qu'elle ait terminé de traiter l'image ou le frame d'entrée. Pour éviter de bloquer l'interface utilisateur, exécutez le traitement dans un thread en arrière-plan.
• Lorsqu'elle s'exécute en mode diffusion en direct, la tâche de segmentation d'image ne bloque pas le thread en cours, mais renvoie immédiatement. Il appelle son écouteur de résultats avec le résultat de la détection chaque fois qu'il a terminé le traitement d'un frame d'entrée. Si la fonction segmentAsync est appelée lorsque la tâche de segmentation d'image est en train de traiter un autre frame, la tâche ignore le nouveau frame d'entrée.

Dans l'exemple de code de l'outil de segmentation d'images, les fonctions segment sont définies dans le fichier ImageSegmenterHelper.kt.

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche de segmentation d'image renvoie un objet ImageSegmenterResult contenant les résultats de la tâche de segmentation. Le contenu de la sortie dépend de l'outputType que vous avez défini lorsque vous avez configuré la tâche.

Les sections suivantes présentent des exemples des données de sortie de cette tâche:

Confiance de la catégorie

Les images suivantes montrent une visualisation de la sortie de la tâche pour un masque de confiance de catégorie. La sortie du masque de confiance contient des valeurs flottantes comprises entre [0, 1].

Image d'origine et sortie du masque de confiance de la catégorie. Image source de l'ensemble de données Pascal VOC 2012.

Valeur de la catégorie

Les images suivantes montrent une visualisation de la sortie de la tâche pour un masque de valeur de catégorie. La plage du masque de catégorie est [0, 255], et chaque valeur de pixel représente l'indice de catégorie gagnante de la sortie du modèle. L'indice de catégorie gagnante affiche le score le plus élevé parmi les catégories que le modèle peut reconnaître.

Image d'origine et sortie du masque de catégorie. Image source de l'ensemble de données Pascal VOC 2012.