Hướng dẫn phân loại hình ảnh cho Android

Tác vụ Trình phân loại hình ảnh MediaPipe cho phép bạn phân loại hình ảnh. Bạn có thể sử dụng nhiệm vụ này để xác định nội dung mà một hình ảnh đại diện trong số một nhóm danh mục được xác định tại thời điểm huấn luyện. Các hướng dẫn này cho bạn biết cách sử dụng Trình phân loại hình ảnh với ứng dụng Android. Bạn có thể xem mã mẫu được mô tả trong những hướng dẫn này trên GitHub.

Bạn có thể xem tác vụ này trong thực tế bằng cách xem Bản minh hoạ trên web. Để biết thêm thông tin về các chức năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ MediaPipe Tasks là cách triển khai đơn giản của ứng dụng Trình phân loại hình ảnh cho Android. Ví dụ này sử dụng máy ảnh trên một thiết bị Android thực để liên tục phân loại các đối tượng, đồng thời cũng có thể sử dụng hình ảnh và video từ thư viện thiết bị để phân loại tĩnh các đối tượng.

Bạn có thể dùng ứng dụng này làm điểm bắt đầu cho ứng dụng Android của riêng mình hoặc tham khảo khi sửa đổi ứng dụng hiện có. Mã ví dụ của Trình phân loại hình ảnh được lưu trữ trên GitHub.

Tải mã xuống

Các hướng dẫn sau chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt để bạn chỉ có các tệp cho ứng dụng mẫu của Trình phân loại hình ảnh:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_classification/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để biết hướng dẫn, hãy xem Hướng dẫn thiết lập cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng cho ứng dụng mẫu về phân loại hình ảnh này:

• ImageClassifierHelper.kt – Khởi động thuật toán phân loại hình ảnh, đồng thời xử lý mô hình và lựa chọn uỷ quyền.
• MainActivity.kt – Triển khai ứng dụng, bao gồm cả việc gọi ImageClassificationHelper và ClassificationResultsAdapter.
• ClassificationResultsAdapter.kt – Xử lý và định dạng kết quả.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và mã hoá dự án để sử dụng công cụ Phân loại hình ảnh. Để biết thông tin chung về cách thiết lập môi trường phát triển để sử dụng các tác vụ MediaPipe, bao gồm cả các yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

Trình phân loại hình ảnh sử dụng thư viện com.google.mediapipe:tasks-vision. Thêm phần phụ thuộc này vào tệp build.gradle của dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Mẫu

Tác vụ Trình phân loại hình ảnh MediaPipe cần có một mô hình đã huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình đã huấn luyện hiện có cho Trình phân loại hình ảnh, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ mô hình đó trong thư mục dự án:

<dev-project-root>/src/main/assets

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này được đề cập đến trong đoạn mã ví dụ ở phần tiếp theo.

Trong mã ví dụ của Trình phân loại hình ảnh, mô hình được xác định trong tệp ImageClassifierHelper.kt.

Tạo việc cần làm

Bạn có thể sử dụng hàm createFromOptions để tạo công việc. Hàm createFromOptions chấp nhận các lựa chọn cấu hình bao gồm chế độ chạy, ngôn ngữ của tên hiển thị, số lượng kết quả tối đa, ngưỡng tin cậy và danh sách cho phép của danh mục hoặc danh sách từ chối. Để biết thêm thông tin về các tuỳ chọn cấu hình, hãy xem phần Configuration Overview (Tổng quan về cấu hình).

Tác vụ Trình phân loại hình ảnh hỗ trợ 3 loại dữ liệu đầu vào: ảnh tĩnh, tệp video và luồng video trực tiếp. Bạn cần chỉ định chế độ đang chạy tương ứng với loại dữ liệu đầu vào khi tạo tác vụ. Chọn thẻ tương ứng với loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy dự đoán.

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);
    

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);
    

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setMaxResults(5)
    .setResultListener((result, inputImage) -> {
         // Process the classification result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the classification errors here.
    })
    .build()
imageClassifier = ImageClassifier.createFromOptions(context, options)
    

Việc triển khai mã ví dụ cho Trình phân loại hình ảnh cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể xem mã này trong hàm setupImageClassifier() của tệp ImageClassifierHelper.kt.

Các lựa chọn về cấu hình

Nhiệm vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Công cụ phân loại hình ảnh hoạt động với hình ảnh, tệp video và video phát trực tiếp. Tác vụ này sẽ xử lý quá trình xử lý trước dữ liệu đầu vào, bao gồm cả việc đổi kích thước, xoay và chuẩn hoá giá trị.

Bạn cần chuyển đổi hình ảnh hoặc khung đầu vào thành đối tượng com.google.mediapipe.framework.image.MPImage trước khi truyền đối tượng đó đến Trình phân loại hình ảnh.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames 
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis, 
// extract the encapsulated Android’s Image object and convert it to 
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Trong mã ví dụ của Trình phân loại hình ảnh, việc chuẩn bị dữ liệu được xử lý trong tệp ImageClassifierHelper.kt.

Chạy tác vụ

Bạn có thể gọi hàm classify tương ứng với chế độ chạy để kích hoạt thông tin dự đoán. API Phân loại hình ảnh trả về các danh mục có thể có cho đối tượng trong hình ảnh hoặc khung đầu vào.

ImageClassifierResult classifierResult = imageClassifier.classify(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageClassifierResult classifierResult =
    imageClassifier.classifyForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The classifications results will be available 
// via the `resultListener` provided in the `ImageClassifierOptions` when 
// the image classifier was created.
imageClassifier.classifyAsync(image, frameTimestampMs);
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ video hoặc chế độ phát trực tiếp, bạn cũng phải cung cấp dấu thời gian của khung đầu vào cho tác vụ Trình phân loại hình ảnh.
• Khi chạy ở chế độ hình ảnh hoặc video, tác vụ Trình phân loại hình ảnh sẽ chặn luồng hiện tại cho đến khi xử lý xong khung hoặc hình ảnh đầu vào. Để tránh chặn giao diện người dùng, hãy thực thi quá trình xử lý trong một luồng trong nền.
• Khi chạy ở chế độ phát trực tiếp, tác vụ Trình phân loại hình ảnh không chặn luồng hiện tại mà trả về ngay lập tức. Nó sẽ gọi trình nghe kết quả kèm theo kết quả phát hiện mỗi khi xử lý xong khung đầu vào. Nếu hàm classifyAsync được gọi khi tác vụ Trình phân loại hình ảnh đang bận xử lý một khung khác, thì tác vụ này sẽ bỏ qua khung đầu vào mới.

Trong mã ví dụ của Trình phân loại hình ảnh, các hàm classify được xác định trong tệp ImageClassifierHelper.kt.

Xử lý và hiện kết quả

Sau khi chạy dự đoán, tác vụ Trình phân loại hình ảnh sẽ trả về một đối tượng ImageClassifierResult chứa danh sách các danh mục có thể có cho các đối tượng trong hình ảnh hoặc khung đầu vào.

Sau đây là ví dụ về dữ liệu đầu ra của tác vụ này:

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

Kết quả này thu được bằng cách chạy Trình phân loại chim trên:

Trong mã ví dụ của Trình phân loại hình ảnh, lớp ClassificationResultsAdapter trong tệp ClassificationResultsAdapter.kt sẽ xử lý kết quả:

fun updateResults(imageClassifierResult: ImageClassifierResult? = null) {
    categories = MutableList(adapterSize) { null }
    if (imageClassifierResult != null) {
        val sortedCategories = imageClassifierResult.classificationResult()
            .classifications()[0].categories().sortedBy { it.index() }
        val min = kotlin.math.min(sortedCategories.size, categories.size)
        for (i in 0 until min) {
            categories[i] = sortedCategories[i]
        }
    }
}