Hướng dẫn phân đoạn hình ảnh dành cho Android

Nhiệm vụ MediaPipe Image Segmenter cho phép bạn chia hình ảnh thành các khu vực dựa trên danh mục được xác định trước để áp dụng các hiệu ứng hình ảnh như làm mờ nền. Các hướng dẫn này chỉ cho bạn cách sử dụng Công cụ phân đoạn hình ảnh với các ứng dụng Android. Bạn có thể xem mã ví dụ được mô tả trong các hướng dẫn này trên GitHub. Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Ví dụ về mã MediaPipe Tasks cho thấy hai cách triển khai đơn giản của ứng dụng Image Segmenter dành cho Android:

• Công cụ phân đoạn hình ảnh có mặt nạ danh mục
• Công cụ phân đoạn hình ảnh có mặt nạ tin cậy

Các ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để thực hiện quá trình phân đoạn hình ảnh trong nguồn cấp dữ liệu máy ảnh trực tiếp, hoặc bạn có thể chọn hình ảnh và video từ thư viện thiết bị. Bạn có thể dùng ứng dụng làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham chiếu đến các ứng dụng đó khi sửa đổi một ứng dụng hiện có. Mã ví dụ về Image Segmenter được lưu trữ trên GitHub.

Các phần sau đề cập đến ứng dụng Image Phân đoạn có mặt nạ danh mục.

Tải mã xuống

Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể tuỳ ý định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, nhờ đó, bạn chỉ có các tệp cho ứng dụng ví dụ về Công cụ phân đoạn hình ảnh:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_segmentation/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho ứng dụng mẫu phân đoạn hình ảnh này:

• ImageSegmenterHelper.kt – Khởi chạy tác vụ Image Segmenter và xử lý lựa chọn mô hình cũng như uỷ quyền.
• CameraFragment.kt – Cung cấp giao diện người dùng và mã điều khiển cho máy ảnh.
• GalleryFragment.kt – Cung cấp giao diện người dùng và mã điều khiển để chọn tệp hình ảnh và video.
• OverlayView.kt – Xử lý và định dạng kết quả phân đoạn.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án để sử dụng Công cụ phân đoạn hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

Công cụ Phân đoạn hình ảnh sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ Trình phân đoạn hình ảnh MediaPipe cần có một mô hình đã huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Công cụ phân đoạn hình ảnh, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục dự án của bạn:

<dev-project-root>/src/main/assets

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này được đề cập đến trong ví dụ về mã ở phần tiếp theo.

Trong mã ví dụ của Image Segmenter, mô hình được xác định ở lớp ImageSegmenterHelper.kt trong hàm setupImageSegmenter().

Tạo việc cần làm

Bạn có thể dùng hàm createFromOptions để tạo việc cần làm. Hàm createFromOptions chấp nhận các lựa chọn cấu hình, bao gồm cả các loại đầu ra mặt nạ. Để biết thêm thông tin về cấu hình tác vụ, hãy xem phần Lựa chọn cấu hình.

Tác vụ Image Segmenter hỗ trợ các loại dữ liệu đầu vào sau: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn phải chỉ định chế độ chạy tương ứng với kiểu dữ liệu đầu vào khi tạo tác vụ. Chọn thẻ cho loại dữ liệu đầu vào của bạn để xem cách tạo công việc.

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .build();
imagesegmenter = ImageSegmenter.createFromOptions(context, options);
    

ImageSegmenterOptions options =
  ImageSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the segmentation errors here.
    })
    .build()
imagesegmenter = ImageSegmenter.createFromOptions(context, options)
    

Cách triển khai mã ví dụ về Image Segmenter cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã này trong lớp ImageSegmenterHelper bằng hàm setupImageSegmenter().

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Công cụ Phân đoạn hình ảnh hoạt động với hình ảnh, tệp video và video phát trực tiếp. Tác vụ này sẽ xử lý trước bước xử lý dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.

Bạn cần chuyển đổi hình ảnh hoặc khung đầu vào thành đối tượng com.google.mediapipe.framework.image.MPImage trước khi truyền đối tượng đó vào Công cụ phân đoạn hình ảnh.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Trong mã ví dụ về Công cụ phân đoạn hình ảnh, việc chuẩn bị dữ liệu được xử lý trong lớp ImageSegmenterHelper bằng hàm segmentLiveStreamFrame().

Chạy tác vụ

Bạn gọi một hàm segment khác dựa trên chế độ chạy mà bạn đang sử dụng. Hàm Phân đoạn hình ảnh trả về các khu vực phân đoạn đã xác định trong hình ảnh hoặc khung đầu vào.

ImageSegmenterResult segmenterResult = imagesegmenter.segment(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageSegmenterResult segmenterResult =
    imagesegmenter.segmentForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The segmentations results will be available via
// the `resultListener` provided in the `ImageSegmenterOptions` when the image
// segmenter was created.
imagesegmenter.segmentAsync(image, frameTimestampMs);
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung đầu vào cho tác vụ Image Segmenter (Phân đoạn hình ảnh).
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Image Segmenter sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Để tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý trong luồng ở chế độ nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Image Segmenter không chặn luồng hiện tại mà sẽ trả về ngay lập tức. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu hàm segmentAsync được gọi khi tác vụ Image Segmenter đang bận xử lý một khung khác, thì tác vụ đó sẽ bỏ qua khung đầu vào mới.

Trong mã ví dụ về Công cụ phân đoạn hình ảnh, các hàm segment được xác định trong tệp ImageSegmenterHelper.kt.

Xử lý và hiển thị kết quả

Khi chạy suy luận, tác vụ Image Phân đoạn sẽ trả về đối tượng ImageSegmenterResult chứa kết quả của tác vụ phân đoạn. Nội dung của đầu ra phụ thuộc vào outputType mà bạn đặt khi định cấu hình tác vụ.

Các phần sau đây trình bày ví dụ về dữ liệu đầu ra của nhiệm vụ này:

Độ tin cậy của danh mục

Các hình ảnh sau đây minh hoạ kết quả đầu ra của tác vụ cho một mặt nạ tin cậy của danh mục. Đầu ra của mặt nạ tin cậy chứa các giá trị số thực giữa [0, 1].

Đầu ra của mặt nạ tin cậy cho danh mục và hình ảnh gốc. Hình ảnh nguồn từ tập dữ liệu Pascal VOC 2012.

Giá trị danh mục

Các hình ảnh sau đây cho thấy kết quả đầu ra của tác vụ cho một mặt nạ giá trị danh mục. Phạm vi mặt nạ danh mục là [0, 255] và mỗi giá trị pixel đại diện cho chỉ mục danh mục chiến thắng của đầu ra mô hình. Chỉ mục danh mục giành chiến thắng có điểm số cao nhất trong các danh mục mà mô hình có thể công nhận.

Đầu ra của mặt nạ danh mục và hình ảnh gốc. Hình ảnh nguồn từ tập dữ liệu Pascal VOC 2012.