Hướng dẫn phân đoạn hình ảnh dành cho Android

Nhiệm vụ của Trình phân đoạn hình ảnh MediaPipe cho phép bạn chia hình ảnh thành các vùng dựa trên để áp dụng hiệu ứng hình ảnh như làm mờ nền. Các sẽ hướng dẫn bạn cách sử dụng Trình phân đoạn hình ảnh với ứng dụng Android. Đoạn mã ví dụ được mô tả trong các hướng dẫn này có trên GitHub. Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Ví dụ về mã MediaPipe Tasks chứa hai cách triển khai đơn giản Ứng dụng Trình phân đoạn hình ảnh dành cho Android:

• Trình phân đoạn hình ảnh có mặt nạ danh mục
• Trình phân đoạn hình ảnh với mặt nạ tin cậy

Các ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để thực hiện phân đoạn hình ảnh trên nguồn cấp dữ liệu camera trực tiếp hoặc bạn có thể chọn hình ảnh và từ thư viện trên thiết bị. Bạn có thể sử dụng các ứng dụng làm điểm bắt đầu cho ứng dụng Android của riêng bạn hoặc tham chiếu đến quảng cáo khi sửa đổi ứng dụng hiện có. Chiến lược phát hành đĩa đơn Mã ví dụ về Trình phân đoạn hình ảnh được lưu trữ trên GitHub.

Các phần sau đây đề cập đến Trình phân đoạn hình ảnh có mặt nạ danh mục .

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, vì vậy, bạn chỉ có các tệp cho ứng dụng ví dụ về Trình phân đoạn hình ảnh:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho hình ảnh này áp dụng ví dụ về phân đoạn:

• ImageSegmenterHelper.kt – Khởi chạy tác vụ Trình phân đoạn hình ảnh, đồng thời xử lý mô hình và uỷ quyền lựa chọn.
• CameraFragment.kt – Cung cấp giao diện người dùng và mã điều khiển cho camera.
• GalleryFragment.kt – Cung cấp giao diện người dùng và mã điều khiển để chọn hình ảnh và video tệp.
• OverlayView.kt – Xử lý và định dạng kết quả phân đoạn.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án để sử dụng Trình phân đoạn hình ảnh. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Trình phân đoạn hình ảnh sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm nội dung này vào tệp build.gradle của Dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Nhiệm vụ về Trình phân đoạn hình ảnh MediaPipe cần có một mô hình đã qua đào tạo tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình phân đoạn hình ảnh, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này sẽ được đề cập trong đoạn mã ví dụ ở phần tiếp theo .

Trong Trình phân đoạn hình ảnh mã ví dụ, mô hình được xác định trong ImageSegmenterHelper.kt trong hàm setupImageSegmenter().

Tạo việc cần làm

Bạn có thể sử dụng hàm createFromOptions để tạo công việc. Chiến lược phát hành đĩa đơn Hàm createFromOptions chấp nhận các lựa chọn cấu hình bao gồm cả đầu ra mặt nạ loại. Để biết thêm thông tin về cách định cấu hình tác vụ, hãy xem Tuỳ chọn cấu hình.

Tác vụ Trình phân đoạn hình ảnh hỗ trợ các loại dữ liệu đầu vào sau: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn phải chỉ định chế độ chạy tương ứng với loại dữ liệu đầu vào của bạn khi tạo công việc. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo công việc đó.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

Khi triển khai mã ví dụ về Trình phân đoạn hình ảnh, người dùng có thể chuyển đổi giữa chế độ xử lý. Phương pháp này làm cho mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong ImageSegmenterHelper bằng hàm setupImageSegmenter().

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Công cụ phân đoạn hình ảnh hoạt động với hình ảnh, tệp video và video phát trực tiếp. Việc cần làm xử lý tiền xử lý đầu vào dữ liệu, bao gồm đổi kích thước, xoay và giá trị chuẩn hoá dữ liệu.

Bạn cần chuyển đổi khung hoặc hình ảnh đầu vào thành com.google.mediapipe.framework.image.MPImage trước khi truyền đối tượng đó đến phương thức Trình phân đoạn hình ảnh.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Trong mã ví dụ về Trình phân đoạn hình ảnh, việc chuẩn bị dữ liệu được xử lý trong ImageSegmenterHelper bằng hàm segmentLiveStreamFrame().

Chạy tác vụ

Bạn sẽ gọi một hàm segment khác dựa trên chế độ chạy mà bạn đang sử dụng. Hàm Trình phân đoạn hình ảnh trả về các vùng phân đoạn đã xác định trong đầu vào hình ảnh hoặc khung.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung đầu vào cho tác vụ Trình phân đoạn hình ảnh.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Trình phân đoạn hình ảnh chặn luồng hiện tại cho đến khi xử lý xong hình ảnh đầu vào hoặc khung. Để tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý trong một luồng trong nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phân đoạn hình ảnh sẽ không chặn luồng hiện tại nhưng trả về ngay lập tức. Tham số này sẽ gọi ra kết quả mỗi khi xử lý xong một trình xử lý khung đầu vào. Nếu hàm segmentAsync được gọi khi Trình phân đoạn hình ảnh tác vụ đang bận xử lý một khung khác, tác vụ sẽ bỏ qua khung đầu vào mới.

Trong mã ví dụ về Trình phân đoạn hình ảnh, các hàm segment được xác định trong ImageSegmenterHelper.kt .

Xử lý và hiện kết quả

Sau khi chạy dự đoán, tác vụ Trình phân đoạn hình ảnh sẽ trả về một ImageSegmenterResult chứa kết quả của nhiệm vụ phân đoạn. Nội dung của phụ thuộc vào outputType mà bạn đặt khi định cấu hình tác vụ.

Các phần sau đây trình bày ví dụ về dữ liệu đầu ra của tác vụ này:

Độ tin cậy của danh mục

Các hình ảnh sau đây minh hoạ kết quả đầu ra của tác vụ cho một danh mục mặt nạ tin cậy. Đầu ra mặt nạ tin cậy chứa các giá trị số thực giữa [0, 1].

Đầu ra mặt nạ tin cậy cho danh mục và hình ảnh gốc. Hình ảnh nguồn từ Pascal VOC 2012 tập dữ liệu.

Giá trị danh mục

Các hình ảnh sau đây minh hoạ kết quả đầu ra của tác vụ cho một danh mục mặt nạ giá trị. Phạm vi mặt nạ danh mục là [0, 255] và mỗi giá trị pixel biểu thị chỉ mục danh mục chiến thắng của đầu ra của mô hình. Hạng mục chiến thắng chỉ mục có điểm cao nhất trong số các danh mục mà mô hình có thể nhận ra.

Đầu ra mặt nạ danh mục và hình ảnh gốc. Hình ảnh nguồn từ Pascal VOC 2012 tập dữ liệu.