Hướng dẫn về phân đoạn hình ảnh tương tác dành cho Android

Nhiệm vụ Trình phân đoạn hình ảnh tương tác MediaPipe lấy một vị trí trong một hình ảnh, ước tính ranh giới của một đối tượng tại vị trí đó và trả về phân đoạn cho đối tượng dưới dạng dữ liệu hình ảnh. Các hướng dẫn này cho bạn biết cách sử dụng Trình phân đoạn hình ảnh tương tác với Ứng dụng Android. Bạn có thể xem ví dụ về mã được mô tả trong các hướng dẫn này trên GitHub. Để biết thêm thông tin về tính năng, kiểu máy và các lựa chọn cấu hình của nhiệm vụ này, xem phần Tổng quan.

Ví dụ về mã

Ví dụ về mã MediaPipe Tasks là cách triển khai đơn giản của Trình phân đoạn hình ảnh tương tác dành cho Android. Ví dụ này áp dụng cho những hình ảnh được chọn từ thư viện trên thiết bị.

Bạn có thể sử dụng ứng dụng này làm điểm khởi đầu cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng đó khi sửa đổi ứng dụng hiện có. Mã ví dụ về Trình phân đoạn hình ảnh tương tác được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau đây chỉ cho bạn cách tạo bản sao trên máy của ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, để bạn chỉ có các tệp cho ứng dụng ví dụ về Trình phân đoạn hình ảnh tương tác:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/interactive_segmentation/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio rồi chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho hình ảnh này áp dụng ví dụ về phân đoạn:

• InteractiveSegmentationHelper.kt – Khởi chạy tác vụ Trình phân đoạn hình ảnh tương tác, đồng thời xử lý mô hình và uỷ quyền lựa chọn.
• OverlayView.kt – Xử lý và định dạng kết quả phân đoạn.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã dự án để sử dụng Trình phân đoạn hình ảnh tương tác. Để biết thông tin chung về thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập cho Android.

Phần phụ thuộc

Trình phân đoạn hình ảnh tương tác sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm nội dung này vào tệp build.gradle của Dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Nhiệm vụ Trình phân đoạn hình ảnh tương tác MediaPipe cần có một mô hình đã huấn luyện tương thích với công việc. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình phân đoạn hình ảnh tương tác, hãy xem tổng quan về nhiệm vụ phần Mô hình.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này được minh hoạ trong đoạn mã ví dụ ở .

Trong Trình phân đoạn hình ảnh tương tác mã ví dụ, mô hình được xác định trong InteractiveSegmenterHelper.kt trong hàm setupInteractiveSegmenter().

Tạo việc cần làm

Bạn có thể sử dụng hàm createFromOptions để tạo công việc. Chiến lược phát hành đĩa đơn Hàm createFromOptions chấp nhận các lựa chọn cấu hình bao gồm mặt nạ cho các loại đầu ra. Để biết thêm thông tin về cấu hình hãy xem phần Configuration Overview (Tổng quan về cấu hình).

InteractiveSegmenterOptions options =
  InteractiveSegmenterOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setOutputCategoryMask(true)
    .setOutputConfidenceMasks(false)
    .setResultListener((result, inputImage) -> {
         // Process the segmentation result here.
    })
    .setErrorListener(exception -> {
         // Process the segmentation errors here.
    })    
    .build();
interactivesegmenter = InteractiveSegmenter.createFromOptions(context, options);

Để biết ví dụ chi tiết hơn về cách thiết lập tác vụ này, hãy xem InteractiveSegmenterHelper lớp setupInteractiveSegmenter().

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Trình phân đoạn hình ảnh tương tác xử lý hình ảnh, còn tác vụ này xử lý việc nhập dữ liệu xử lý trước, bao gồm đổi kích thước, xoay và chuẩn hoá giá trị. Bạn cần chuyển đổi hình ảnh đầu vào thành com.google.mediapipe.framework.image.MPImage trước khi truyền đối tượng đó đến phương thức công việc.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
MPImage mpImage = new BitmapImageBuilder(bitmap).build();

RegionOfInterest roi = RegionOfInterest.create(
    NormalizedKeypoint.create(
        normX * it.width,
        normY * it.height
    )
);

ImageSegmenterResult segmenterResult = interactivesegmenter.segment(image, roi);

Trong mã ví dụ về Trình phân đoạn hình ảnh tương tác, các hàm segment được xác định trong InteractiveSegmenterHelper.kt .

Xử lý và hiện kết quả

Sau khi chạy dự đoán, tác vụ Trình phân đoạn hình ảnh tương tác sẽ trả về một Đối tượng ImageSegmenterResult chứa kết quả của phân đoạn. Nội dung của đầu ra có thể bao gồm một mặt nạ danh mục, mặt nạ tin cậy hoặc cả hai, tuỳ thuộc vào chế độ mà bạn thiết lập khi định cấu hình tác vụ.

Các phần sau đây sẽ giải thích thêm về dữ liệu đầu ra của tác vụ này:

Mặt nạ danh mục

Các hình ảnh sau đây minh hoạ kết quả đầu ra của tác vụ cho một danh mục mặt nạ giá trị có cho biết khu vực quan tâm. Mỗi pixel là một uint8 giá trị cho biết liệu pixel có phải là một phần của đối tượng nằm tại khu vực mối quan tâm. Vòng tròn đen trắng trên hình ảnh thứ hai cho biết lĩnh vực quan tâm.

Đầu ra mặt nạ danh mục và hình ảnh gốc. Hình ảnh nguồn từ Pascal VOC 2012 tập dữ liệu.

Mặt nạ tin cậy

Kết quả của một mặt nạ tin cậy chứa các giá trị số thực có độ chính xác đơn giữa [0, 1] cho từng kênh nhập hình ảnh. Giá trị càng cao thì độ tin cậy càng cao pixel hình ảnh là một phần của đối tượng nằm tại khu vực quan tâm.