Hướng dẫn nhúng hình ảnh dành cho Android

Nhiệm vụ Trình nhúng hình ảnh MediaPipe cho phép bạn chuyển đổi dữ liệu hình ảnh thành một giá trị biểu diễn dạng số để hoàn thành các nhiệm vụ xử lý hình ảnh liên quan đến học máy, chẳng hạn như so sánh mức độ tương đồng của 2 hình ảnh. Các hướng dẫn này cho bạn biết cách sử dụng Trình nhúng hình ảnh với các ứng dụng Android.

Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ về Tác vụ MediaPipe là một cách triển khai đơn giản của ứng dụng Trình nhúng hình ảnh dành cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để liên tục nhúng hình ảnh và cũng có thể chạy trình nhúng trên các tệp hình ảnh được lưu trữ trên thiết bị.

Bạn có thể dùng ứng dụng này làm điểm xuất phát cho ứng dụng Android của riêng mình hoặc tham chiếu đến ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã ví dụ về Trình nhúng hình ảnh được lưu trữ trên GitHub.

Tải mã xuống

Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. (Không bắt buộc) Định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt, nhờ đó bạn chỉ có các tệp cho ứng dụng ví dụ Trình nhúng hình ảnh:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_embedder/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho ứng dụng mẫu về trình nhúng hình ảnh này:

• ImageEmbedderHelper.kt: Khởi chạy trình nhúng hình ảnh, đồng thời xử lý lựa chọn mô hình và uỷ quyền.
• MainActivity.kt: Triển khai ứng dụng và tập hợp các thành phần giao diện người dùng.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và lập trình cho dự án để sử dụng Trình nhúng hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

Trình nhúng hình ảnh sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng đoạn mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ Trình nhúng hình ảnh MediaPipe cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình nhúng hình ảnh, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục dự án của bạn:

<dev-project-root>/src/main/assets

Chỉ định đường dẫn của mô hình trong tham số ModelAssetPath. Trong mã ví dụ, mô hình được xác định ở hàm setupImageEmbedder() của tệp ImageEmbedderHelper.kt:

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này được đề cập đến trong ví dụ về mã ở phần tiếp theo.

Tạo việc cần làm

Bạn có thể dùng hàm createFromOptions để tạo việc cần làm. Hàm createFromOptions chấp nhận các tuỳ chọn cấu hình để đặt các tuỳ chọn của trình nhúng. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Tổng quan về cấu hình.

Tác vụ Trình nhúng hình ảnh hỗ trợ 3 loại dữ liệu đầu vào: hình ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn cần chỉ định chế độ chạy tương ứng với kiểu dữ liệu đầu vào của mình khi tạo tác vụ. Chọn thẻ tương ứng với loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy dự đoán.

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.IMAGE)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.VIDEO)
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

ImageEmbedderOptions options =
  ImageEmbedderOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setQuantize(true)
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setResultListener((result, inputImage) -> {
         // Process the embedding result here.
    })
    .build();
imageEmbedder = ImageEmbedder.createFromOptions(context, options);
    

Ví dụ về cách triển khai mã cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy đoạn mã này trong hàm setupImageEmbedder() ở tệp ImageEmbedderHelper.kt.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Trình nhúng hình ảnh hoạt động với hình ảnh, tệp video và video phát trực tiếp. Tác vụ này sẽ xử lý trước bước xử lý dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.

Bạn cần chuyển đổi hình ảnh hoặc khung đầu vào thành đối tượng com.google.mediapipe.framework.image.MPImage trước khi truyền đối tượng đó vào tác vụ Trình nhúng hình ảnh.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Trong mã ví dụ, việc chuẩn bị dữ liệu được xử lý trong tệp ImageEmbedderHelper.kt.

Chạy tác vụ

Bạn có thể gọi hàm embed tương ứng với chế độ đang chạy để kích hoạt dự đoán. API Image Embeddedder trả về các vectơ nhúng cho hình ảnh hoặc khung đầu vào.

ImageEmbedderResult embedderResult = imageEmbedder.embed(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageEmbedderResult embedderResult =
    imageEmbedder.embedForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The embedding results will be available
// via the `resultListener` provided in the `ImageEmbedderOptions` when
// the image embedder was created.
imageEmbedder.embedAsync(image, frameTimestampMs);
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung nhập dữ liệu cho tác vụ Trình nhúng hình ảnh.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Trình nhúng hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong hình ảnh hoặc khung đầu vào. Để tránh chặn luồng hiện tại, hãy thực thi quá trình xử lý trong luồng nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình nhúng hình ảnh không chặn luồng hiện tại mà sẽ trả về ngay lập tức. Hàm này sẽ gọi trình nghe kết quả cùng với kết quả phát hiện mỗi khi xử lý xong một khung đầu vào. Nếu hàm embedAsync được gọi khi tác vụ Trình nhúng hình ảnh đang bận xử lý một khung khác, thì tác vụ đó sẽ bỏ qua khung đầu vào mới.

Trong mã ví dụ, hàm embed được xác định trong tệp ImageEmbedderHelper.kt.

Xử lý và hiển thị kết quả

Khi chạy suy luận, tác vụ Trình nhúng hình ảnh sẽ trả về một đối tượng ImageEmbedderResult chứa danh sách các mục nhúng (dấu phẩy động hoặc lượng tử vô hướng) cho hình ảnh đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của nhiệm vụ này:

ImageEmbedderResult:
  Embedding #0 (sole embedding head):
    float_embedding: {0.0, 0.0, ..., 0.0, 1.0, 0.0, 0.0, 2.0}
    head_index: 0

Kết quả này thu được bằng cách nhúng hình ảnh sau:

Bạn có thể so sánh điểm tương đồng của 2 phương thức nhúng bằng cách sử dụng hàm ImageEmbedder.cosineSimilarity. Hãy xem mã ví dụ sau đây.

// Compute cosine similarity.
double similarity = ImageEmbedder.cosineSimilarity(
  result.embeddingResult().embeddings().get(0),
  otherResult.embeddingResult().embeddings().get(0));