La tarea del Segmentador de imágenes interactiva de MediaPipe toma una ubicación en una imagen y estima los límites de un objeto en esa ubicación y devuelve la segmentación del objeto como datos de imágenes. Estas instrucciones te muestran cómo usar el segmentador de imágenes interactivo con Apps para Android. El ejemplo de código descrito en estas instrucciones está disponible en GitHub: Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.
Ejemplo de código
El ejemplo de código de tareas de MediaPipe es una implementación simple de un segmentador de imágenes interactivo para Android. El ejemplo funciona con imágenes seleccionadas de la galería del dispositivo.
Puedes usar la app como punto de partida para tu propia app para Android o hacer referencia a ella. cuando se modifica una app existente. El código de ejemplo del Segmentador de imágenes interactivo se aloja en GitHub:
Descarga el código
En las siguientes instrucciones, se muestra cómo crear una copia local del ejemplo con la herramienta de línea de comandos git.
Para descargar el código de ejemplo, haz lo siguiente:
- Clona el repositorio de Git con el siguiente comando:
git clone https://github.com/google-ai-edge/mediapipe-samples
- De forma opcional, configura tu instancia de Git para que use el resultado escaso.
para que solo tengas los archivos de la app de ejemplo del Segmentador de imágenes interactivo:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/interactive_segmentation/android
Después de crear una versión local del código de ejemplo, puedes importar el proyecto en Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración para Android
Componentes clave
Los siguientes archivos contienen el código esencial para esta imagen ejemplo de segmentación:
- InteractiveSegmentationHelper.kt: Inicializa la tarea del Segmentador de imágenes interactivo y controla el modelo y el delegado. selección.
- OverlayView.kt: Maneja y formatea los resultados de segmentación.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código para usar el segmentador de imágenes interactivo. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Android.
Dependencias
El segmento interactivo de imágenes usa la biblioteca com.google.mediapipe:tasks-vision. Agregar
dependencia al archivo build.gradle de tu
Proyecto de desarrollo de apps para Android. Importa las dependencias necesarias con
el siguiente código:
dependencies {
...
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Modelo
La tarea del Segmentador de imágenes interactiva de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Para obtener más información sobre los modelos entrenados disponibles para el segmentador de imágenes interactivo, consulta la sección Modelos de la descripción general de la tarea.
Selecciona y descarga el modelo; luego, guárdalo en el directorio de tu proyecto:
<dev-project-root>/src/main/assets
Usa el método BaseOptions.Builder.setModelAssetPath() para especificar la ruta de acceso.
que usa el modelo. Este método se muestra en el ejemplo de código de la siguiente
sección.
En el Segmentador de imágenes interactivo
código de ejemplo,
el modelo se define en InteractiveSegmenterHelper.kt
en la función setupInteractiveSegmenter().
Crea la tarea
Puedes usar la función createFromOptions para crear la tarea. El
La función createFromOptions acepta las opciones de configuración, que incluyen
enmascarar tipos de salida. Para obtener más información sobre la configuración
consulta Descripción general de la configuración.
InteractiveSegmenterOptions options = InteractiveSegmenterOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setOutputCategoryMask(true) .setOutputConfidenceMasks(false) .setResultListener((result, inputImage) -> { // Process the segmentation result here. }) .setErrorListener(exception -> { // Process the segmentation errors here. }) .build(); interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);
Para obtener un ejemplo más detallado de la configuración de esta tarea, consulta el
InteractiveSegmenterHelper
función de clase setupInteractiveSegmenter().
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para apps para Android:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
outputCategoryMask |
Si se establece en True, el resultado incluirá una máscara de segmentación.
que una imagen de uint8, donde cada valor de píxel indica si el píxel es parte de
el objeto ubicado en el área de interés. |
{True, False} |
False |
outputConfidenceMasks |
Si se establece en True, el resultado incluirá una máscara de segmentación.
como una imagen de valor flotante, donde cada valor flotante representa la confianza
que el píxel sea parte del objeto ubicado en el área de interés. |
{True, False} |
True |
displayNamesLocale |
Configura el idioma de las etiquetas que se usarán para los nombres visibles que se proporcionan en la
metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es en para
Inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado
con la API de Metadata Writer de TensorFlow Lite
| Código de configuración regional | en |
errorListener |
Configura un objeto de escucha de errores opcional. | N/A | Sin establecer |
Preparar los datos
El segmentador de imágenes interactivo trabaja con imágenes y la tarea controla la entrada de datos
el procesamiento previo, incluidos el cambio de tamaño, la rotación y la normalización de valores.
Debes convertir la imagen de entrada en
com.google.mediapipe.framework.image.MPImage antes de pasarlo al
tarea.
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load an image on the user’s device as a Bitmap object using BitmapFactory. // Convert an Android’s Bitmap object to a MediaPipe’s Image object. MPImage mpImage = new BitmapImageBuilder(bitmap).build();
RegionOfInterest roi = RegionOfInterest.create(
NormalizedKeypoint.create(
normX * it.width,
normY * it.height
)
);
ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);
En el código de ejemplo del Segmentador de imágenes interactivo, las funciones segment se definen en el
InteractiveSegmenterHelper.kt
.
Cómo controlar y mostrar resultados
Luego de ejecutar la inferencia, la tarea del Segmentador de imágenes interactivo devuelve un
ImageSegmenterResult, que contiene los resultados de lo siguiente:
de segmentación personalizada. El contenido del resultado puede incluir una máscara de categoría,
de confianza, o ambas, según lo que establezcas cuando
configuró la tarea.
En las siguientes secciones, se explican con más detalle los datos de salida de esta tarea:
Máscara de categoría
En las siguientes imágenes, se muestra una visualización del resultado de la tarea para una categoría
de valor con un área de interés indicada. Cada píxel es un uint8
valor que indica si el píxel es parte del objeto ubicado en el área de
interés. El círculo blanco y negro de la segunda imagen indica la imagen
o en un área de interés.
Resultado de imagen original y máscara de categoría. Imagen de origen de Pascal VOC 2012 conjunto de datos.
Máscara de confianza
El resultado de una máscara de confianza contiene valores flotantes entre [0, 1] para
cada canal de entrada de imagen. Los valores más altos indican una mayor confianza que
El píxel de imagen es parte del objeto ubicado en el área de interés.