Guide de segmentation d'image pour Android

La tâche MediaPipe Image Segmenter vous permet de diviser les images en régions en fonction de catégories prédéfinies pour l'application d'effets visuels tels que le floutage de l'arrière-plan. Ces instructions vous expliquent comment utiliser le segmentateur d'images avec les applications Android. L'exemple de code décrit dans ces instructions est disponible sur GitHub. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la présentation.

Exemple de code

L'exemple de code MediaPipe Tasks contient deux implémentations simples d'une application de segmentation d'images pour Android:

• Segmenter d'images avec un masque de catégorie
• Segmenter d'images avec masque de confiance

Les exemples utilisent l'appareil photo d'un appareil Android physique pour segmenter l'image dans un flux de caméra en direct, ou vous pouvez choisir des images et des vidéos dans la galerie de l'appareil. Vous pouvez utiliser les applications comme point de départ pour votre propre application Android, ou vous y référer lorsque vous modifiez une application existante. L'exemple de code du segmenteur d'images est hébergé sur GitHub.

Les sections suivantes font référence à l'application Segmenter d'images avec un masque de catégorie.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple de code à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code, procédez comme suit:

1. Clonez le dépôt git à l'aide de la commande suivante :

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Vous pouvez éventuellement configurer votre instance Git pour utiliser le paiement creux, afin de n'avoir que les fichiers de l'application exemple Segmenter d'images :

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez le guide de configuration pour Android.

Composants clés

Les fichiers suivants contiennent le code crucial pour cet exemple d'application de segmentation d'images:

• ImageSegmenterHelper.kt : initialise la tâche de Segmenter d'images, et gère le modèle et la sélection des délégués.
• CameraFragment.kt : fournit l'interface utilisateur et le code de contrôle d'une caméra.
• GalleryFragment.kt : fournit l'interface utilisateur et le code de contrôle permettant de sélectionner des fichiers image et vidéo.
• OverlayView.kt : gère et met en forme les résultats de la segmentation.

Préparation

Cette section décrit les étapes clés de la configuration de votre environnement de développement et de vos projets de code afin d'utiliser Image Segmenter. Pour obtenir des informations générales sur la configuration de votre environnement de développement pour l'utilisation des tâches MediaPipe, y compris sur les exigences de version de la plate-forme, consultez le guide de configuration pour Android.

Dépendances

Image Segmenter utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajoutez cette dépendance au fichier build.gradle de votre projet de développement d'application Android. Importez les dépendances requises à l'aide du code suivant:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Image Segmenter nécessite un modèle entraîné compatible avec cette tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le Segment d'images, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Utilisez la méthode BaseOptions.Builder.setModelAssetPath() pour spécifier le chemin d'accès utilisé par le modèle. Cette méthode est référencée dans l'exemple de code de la section suivante.

Dans l'exemple de code du Segment d'images, le modèle est défini dans la classe ImageSegmenterHelper.kt de la fonction setupImageSegmenter().

Créer la tâche

Vous pouvez utiliser la fonction createFromOptions pour créer la tâche. La fonction createFromOptions accepte des options de configuration, y compris les types de sortie de masque. Pour en savoir plus sur la configuration des tâches, consultez la section Options de configuration.

La tâche "Segmenter d'images" accepte les types de données d'entrée suivants: images fixes, fichiers vidéo et flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant à votre type de données d'entrée lors de la création de la tâche. Choisissez l'onglet correspondant à votre type de données d'entrée pour voir comment créer cette tâche.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

L'exemple de code du Segment d'images permet à l'utilisateur de basculer entre les modes de traitement. Cette approche complique le code de création de la tâche et peut ne pas être adaptée à votre cas d'utilisation. Vous pouvez voir ce code dans la classe ImageSegmenterHelper au niveau de la fonction setupImageSegmenter().

Options de configuration

Cette tâche dispose des options de configuration suivantes pour les applications Android:

Préparation des données

Il fonctionne avec les images, les fichiers vidéo et les flux vidéo en direct. Cette tâche gère le prétraitement des entrées de données, y compris le redimensionnement, la rotation et la normalisation de la valeur.

Vous devez convertir l'image ou l'image d'entrée en objet com.google.mediapipe.framework.image.MPImage avant de la transmettre au segmenteur d'images.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Dans l'exemple de code du Segment d'images, la préparation des données est gérée dans la classe ImageSegmenterHelper par la fonction segmentLiveStreamFrame().

Exécuter la tâche

Vous appelez une fonction segment différente en fonction du mode d'exécution que vous utilisez. Cette fonction renvoie les régions des segments identifiés dans l'image ou l'image d'entrée.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Veuillez noter les points suivants :

• Lors de l'exécution en mode vidéo ou en mode flux en direct, vous devez également fournir l'horodatage de l'image d'entrée à la tâche Image Segmenter.
• Lors de l'exécution en mode image ou vidéo, la tâche "Image Segmenter" bloque le thread actuel jusqu'à ce qu'elle ait fini de traiter l'image ou le cadre d'entrée. Pour éviter de bloquer l'interface utilisateur, exécutez le traitement dans un thread d'arrière-plan.
• Lors de l'exécution en mode de diffusion en direct, la tâche "Segmenter d'images" ne bloque pas le thread actuel, mais est renvoyée immédiatement. Il appelle son écouteur de résultat avec le résultat de la détection chaque fois qu'il a fini de traiter une trame d'entrée. Si la fonction segmentAsync est appelée lorsque la tâche de segmentation d'images est occupée à traiter un autre frame, la tâche ignore le nouveau cadre d'entrée.

Dans l'exemple de code du Segment d'images, les fonctions segment sont définies dans le fichier ImageSegmenterHelper.kt.

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche "Segmenter d'images" renvoie un objet ImageSegmenterResult contenant les résultats de la tâche de segmentation. Le contenu de la sortie dépend du paramètre outputType que vous avez défini lors de la configuration de la tâche.

Les sections suivantes présentent des exemples de données de sortie de cette tâche:

Fiabilité de la catégorie

Les images suivantes montrent une visualisation du résultat de la tâche pour un masque de confiance de catégorie. Le résultat du masque de confiance contient des valeurs flottantes comprises entre [0, 1].

Sortie du masque de confiance de la catégorie et de l'image d'origine. Image source de l'ensemble de données Pascal VOC 2012.

Valeur de la catégorie

Les images suivantes montrent une visualisation du résultat de la tâche pour un masque de valeur de catégorie. La plage du masque de catégorie est [0, 255], et chaque valeur de pixel représente l'index de catégorie gagnant de la sortie du modèle. L'indice des catégories gagnantes obtient le score le plus élevé parmi les catégories reconnues par le modèle.

Sortie de l'image d'origine et du masque de catégorie. Image source de l'ensemble de données Pascal VOC 2012.