Guide de segmentation d'image pour Android

La tâche "Segmenteur d'images MediaPipe" vous permet de diviser les images en régions en fonction d'éléments prédéfinis pour appliquer des effets visuels comme le floutage de l'arrière-plan. Ces vous explique comment utiliser le segmenteur d'images avec les applications Android. Le code l'exemple décrit dans ces instructions est disponible sur GitHub Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code MediaPipe Tasks contient deux implémentations simples d'une Application Segmenter d'images pour Android:

• Segmenteur d'image avec un masque de catégorie
• Segmenteur d'image avec un masque de confiance

Les exemples utilisent l'appareil photo d'un appareil Android physique pour segmentation d'image sur un flux de caméra en direct, ou vous pouvez choisir des images de la galerie de l'appareil. Vous pouvez les utiliser comme point de départ pour votre propre application Android, ou s'y référer lorsque vous modifiez une application existante. La L'exemple de code du segment d'images est hébergé sur GitHub

Les sections suivantes font référence Segmenteur d'image avec un masque de catégorie l'application.

Télécharger le code

Les instructions suivantes vous expliquent comment créer une copie locale de l'exemple à l'aide de l'outil de ligne de commande git.

Pour télécharger l'exemple de code:

1. Clonez le dépôt Git à l'aide de la commande suivante:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Vous pouvez éventuellement configurer votre instance Git pour utiliser le paiement creuse. Vous n'avez donc que les fichiers de l'exemple d'application Segmenter d'images:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Après avoir créé une version locale de l'exemple de code, vous pouvez importer le projet dans Android Studio et exécuter l'application. Pour obtenir des instructions, consultez les Guide de configuration pour Android

Composants clés

Les fichiers suivants contiennent le code essentiel pour cette image Exemple d'application de segmentation:

• ImageSegmenterHelper.kt : Il initialise la tâche Segmenter d'image, et gère le modèle et la délégation de votre choix.
• CameraFragment.kt : Fournit l'interface utilisateur et le code de contrôle d'une caméra.
• GalleryFragment.kt : Fournit l'interface utilisateur et le code de contrôle permettant de sélectionner l'image et la vidéo. .
• OverlayView.kt : Gère et met en forme les résultats de la segmentation.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement de code pour utiliser le segment d'images. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris versions de la plate-forme requises, consultez la Guide de configuration pour Android

Dépendances

L'outil de segmentation d'images utilise la bibliothèque com.google.mediapipe:tasks-vision. Ajouter au fichier build.gradle de votre Projet de développement d'applications Android. Importez les dépendances requises avec le code suivant:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Modèle

La tâche MediaPipe Image Segmenter nécessite un modèle entraîné et compatible avec tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le segmenteur d'images, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez le modèle, puis stockez-le dans le répertoire de votre projet:

<dev-project-root>/src/main/assets

Utiliser la méthode BaseOptions.Builder.setModelAssetPath() pour spécifier le chemin d'accès utilisées par le modèle. Cette méthode est mentionnée dans l'exemple de code de la .

Dans Image Segmenter exemple de code, le modèle est défini dans l'élément ImageSegmenterHelper.kt. dans la fonction setupImageSegmenter().

Créer la tâche

Vous pouvez utiliser la fonction createFromOptions pour créer la tâche. La La fonction createFromOptions accepte les options de configuration, y compris la sortie du masque de données. Pour en savoir plus sur la configuration des tâches, consultez Options de configuration.

La tâche "Segmenteur d'images" accepte les types de données d'entrée suivants: images fixes, des fichiers vidéo et des flux vidéo en direct. Vous devez spécifier le mode d'exécution correspondant au type de données d'entrée lors de la création de la tâche. Sélectionner l'onglet correspondant à votre type de données d'entrée pour découvrir comment créer cette tâche.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

L'exemple de code d'implémentation du segmenteur d'images permet à l'utilisateur de passer différents modes de traitement. L'approche rend le code de création de la tâche plus compliqué et peuvent ne pas être adaptés à votre cas d'utilisation. Ce code figure dans la ImageSegmenterHelper par la fonction setupImageSegmenter().

Options de configuration

Cette tâche comporte les options de configuration suivantes pour les applications Android:

Préparer les données

L'outil de segmentation d'images fonctionne avec les images, les fichiers vidéo et les flux vidéo en direct. La tâche gère le prétraitement de l'entrée des données, y compris le redimensionnement, la rotation et la valeur. normalisation.

Vous devez convertir l'image ou le cadre d'entrée en com.google.mediapipe.framework.image.MPImage avant de le transmettre à Segmenter l'image.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Dans l'exemple de code du segment d'images, la préparation des données est gérée dans la ImageSegmenterHelper par la fonction segmentLiveStreamFrame().

Exécuter la tâche

Vous appelez une fonction segment différente selon le mode d'exécution que vous utilisez. La fonction Segmenter d'image renvoie les régions du segment identifiées dans le segment l'image ou le cadre d'entrée.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Veuillez noter les points suivants :

• Lorsque vous êtes en mode vidéo ou flux en direct, vous devez également fournir le code temporel de la trame d'entrée à la tâche "Segmenteur d'images".
• Lors de l'exécution en mode image ou vidéo, la tâche "Segmenteur d'images" bloque le thread actuel jusqu'à ce qu'il ait fini de traiter l'image d'entrée ou cadre. Pour éviter de bloquer l'interface utilisateur, exécutez le traitement dans un thread d'arrière-plan.
• En mode de diffusion en direct, la tâche "Segmenteur d'images" ne bloque pas le thread actuel, mais renvoie immédiatement. Elle appellera son résultat avec le résultat de la détection chaque fois que le traitement d'une trame d'entrée. Si la fonction segmentAsync est appelée lorsque l'outil de segmentation d'image est occupée à traiter une autre trame, la tâche ignore la nouvelle trame d'entrée.

Dans l'exemple de code du segmenteur d'images, les fonctions segment sont définies dans ImageSegmenterHelper.kt .

Gérer et afficher les résultats

Lors de l'exécution de l'inférence, la tâche "Segmenteur d'images" renvoie un ImageSegmenterResult qui contient les résultats de la tâche de segmentation. Le contenu de la dépend de l'outputType que vous définissez lorsque vous configuré la tâche.

Les sections suivantes présentent des exemples de données de sortie de cette tâche:

Confiance dans la catégorie

Les images suivantes illustrent le résultat des tâches pour une catégorie de confiance. Le résultat du masque de confiance contient des valeurs flottantes entre [0, 1]

Sortie du masque de confiance des images et catégories d'origine. Image source de la Pascal VOC 2012 ensemble de données.

Valeur de la catégorie

Les images suivantes illustrent le résultat des tâches pour une catégorie de valeur. La plage de masques de catégorie est [0, 255], et chaque valeur de pixel représente l'indice de la catégorie d'annonces gagnantes pour la sortie du modèle. Catégorie gagnante est le score le plus élevé parmi toutes les catégories reconnues par le modèle.

Sortie du masque d'image d'origine et de catégorie. Image source de la Pascal VOC 2012 ensemble de données.