Hướng dẫn phân đoạn hình ảnh dành cho Android

Tác vụ Trình phân đoạn hình ảnh MediaPipe cho phép bạn chia hình ảnh thành các vùng dựa trên các danh mục được xác định trước để áp dụng hiệu ứng hình ảnh như làm mờ nền. Các hướng dẫn này cho bạn biết cách sử dụng Trình phân đoạn hình ảnh với các ứng dụng Android. Bạn có thể xem ví dụ về mã được mô tả trong các hướng dẫn này trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và tuỳ chọn cấu hình của tác vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Ví dụ về mã MediaPipe Tasks chứa hai cách triển khai đơn giản của ứng dụng Trình phân đoạn hình ảnh dành cho Android:

• Trình phân đoạn hình ảnh có mặt nạ danh mục
• Trình phân đoạn hình ảnh có mặt nạ độ tin cậy

Các ví dụ sử dụng máy ảnh trên thiết bị Android thực để phân đoạn hình ảnh trên nguồn cấp dữ liệu máy ảnh trực tiếp, hoặc bạn có thể chọn hình ảnh và video trong thư viện thiết bị. Bạn có thể sử dụng các ứng dụng này làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham khảo các ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã mẫu của Trình phân đoạn hình ảnh được lưu trữ trên GitHub.

Các phần sau đây đề cập đến ứng dụng Trình phân đoạn hình ảnh có mặt nạ danh mục.

Tải mã xuống

Hướng dẫn sau đây cho bạn biết cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã mẫu xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng tính năng kiểm tra thư mục thưa, nhờ đó, bạn chỉ có các tệp cho ứng dụng mẫu Image Segmenter:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập cho Android.

Các thành phần chính

Các tệp sau đây chứa mã quan trọng cho ứng dụng ví dụ về phân đoạn hình ảnh này:

• ImageSegmenterHelper.kt – Khởi chạy tác vụ Trình phân đoạn hình ảnh và xử lý mô hình cũng như lựa chọn uỷ quyền.
• CameraFragment.kt – Cung cấp giao diện người dùng và mã điều khiển cho máy ảnh.
• GalleryFragment.kt – Cung cấp giao diện người dùng và mã điều khiển để chọn các tệp hình ảnh và video.
• OverlayView.kt – Xử lý và định dạng kết quả phân đoạn.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và dự án mã để sử dụng Trình phân đoạn hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển cho việc sử dụng các tác vụ MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Trình phân đoạn hình ảnh sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ Trình phân đoạn hình ảnh MediaPipe yêu cầu một mô hình đã huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình phân đoạn hình ảnh, hãy xem phần Mô hình trong phần tổng quan về tác vụ.

Chọn và tải mô hình xuống, sau đó lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này được đề cập trong ví dụ về mã ở phần tiếp theo.

Trong mã ví dụ của Trình phân đoạn hình ảnh, mô hình được xác định trong lớp ImageSegmenterHelper.kt trong hàm setupImageSegmenter().

Tạo việc cần làm

Bạn có thể sử dụng hàm createFromOptions để tạo tác vụ. Hàm createFromOptions chấp nhận các tuỳ chọn cấu hình, bao gồm cả các loại đầu ra mặt nạ. Để biết thêm thông tin về cấu hình tác vụ, hãy xem phần Tuỳ chọn cấu hình.

Tác vụ Trình phân đoạn hình ảnh hỗ trợ các loại dữ liệu đầu vào sau: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn phải chỉ định chế độ chạy tương ứng với loại dữ liệu đầu vào khi tạo tác vụ. Chọn thẻ cho loại dữ liệu đầu vào để xem cách tạo tác vụ đó.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

Việc triển khai mã ví dụ về Trình phân đoạn hình ảnh cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong lớp ImageSegmenterHelper theo hàm setupImageSegmenter().

Các lựa chọn về cấu hình

Tác vụ này có các tuỳ chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Công cụ phân đoạn hình ảnh hoạt động với hình ảnh, tệp video và video phát trực tiếp. Tác vụ này xử lý quá trình xử lý trước dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.

Bạn cần chuyển đổi hình ảnh hoặc khung hình đầu vào thành đối tượng com.google.mediapipe.framework.image.MPImage trước khi truyền đối tượng đó đến Trình phân đoạn hình ảnh.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Trong mã ví dụ về Trình phân đoạn hình ảnh, việc chuẩn bị dữ liệu được xử lý trong lớp ImageSegmenterHelper bằng hàm segmentLiveStreamFrame().

Chạy tác vụ

Bạn gọi một hàm segment khác dựa trên chế độ chạy mà bạn đang sử dụng. Hàm Trình phân đoạn hình ảnh trả về các vùng phân đoạn đã xác định trong hình ảnh hoặc khung hình đầu vào.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung đầu vào cho tác vụ Trình phân đoạn hình ảnh.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Trình phân đoạn hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung hình đầu vào. Để tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý trong luồng nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phân đoạn hình ảnh không chặn luồng hiện tại mà trả về ngay lập tức. Phương thức này sẽ gọi trình nghe kết quả với kết quả phát hiện mỗi khi hoàn tất quá trình xử lý một khung đầu vào. Nếu hàm segmentAsync được gọi khi tác vụ Trình phân đoạn hình ảnh đang bận xử lý một khung hình khác, thì tác vụ này sẽ bỏ qua khung đầu vào mới.

Trong mã ví dụ về Trình phân đoạn hình ảnh, các hàm segment được xác định trong tệp ImageSegmenterHelper.kt.

Xử lý và hiển thị kết quả

Khi chạy quy trình suy luận, tác vụ Trình phân đoạn hình ảnh sẽ trả về một đối tượng ImageSegmenterResult chứa kết quả của tác vụ phân đoạn. Nội dung của đầu ra phụ thuộc vào outputType mà bạn đặt khi định cấu hình tác vụ.

Các phần sau đây trình bày ví dụ về dữ liệu đầu ra của nhiệm vụ này:

Độ tin cậy của danh mục

Các hình ảnh sau đây cho thấy hình ảnh trực quan của kết quả tác vụ cho mặt nạ độ tin cậy của danh mục. Đầu ra của mặt nạ độ tin cậy chứa các giá trị float trong khoảng [0, 1].

Đầu ra mặt nạ độ tin cậy của hình ảnh gốc và danh mục. Hình ảnh nguồn từ tập dữ liệu Pascal VOC 2012.

Giá trị danh mục

Các hình ảnh sau đây cho thấy hình ảnh trực quan của kết quả tác vụ cho mặt nạ giá trị danh mục. Phạm vi mặt nạ danh mục là [0, 255] và mỗi giá trị pixel đại diện cho chỉ mục danh mục chiến thắng của đầu ra mô hình. Chỉ mục danh mục chiến thắng có điểm số cao nhất trong số các danh mục mà mô hình có thể nhận dạng.

Kết quả đầu ra của mặt nạ danh mục và hình ảnh gốc. Hình ảnh nguồn từ tập dữ liệu Pascal VOC 2012.