Panduan klasifikasi gambar untuk Android

Tugas Pengklasifikasi Gambar MediaPipe memungkinkan Anda melakukan klasifikasi pada gambar. Anda bisa menggunakan tugas ini untuk mengidentifikasi apa yang diwakili oleh gambar di antara serangkaian kategori yang ditentukan pada waktu pelatihan. Petunjuk ini menunjukkan cara menggunakan Pengklasifikasi Gambar dengan aplikasi Android. Contoh kode yang dijelaskan dalam petunjuk ini tersedia nyala GitHub.

Anda dapat mengetahui cara kerja tugas ini dengan melihat Demo web. Untuk mengetahui informasi selengkapnya terkait kemampuan, model, dan opsi konfigurasi. tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh Tugas MediaPipe adalah implementasi sederhana dari Pengklasifikasi Gambar untuk Android. Contoh ini menggunakan kamera pada perangkat Android fisik untuk terus mengklasifikasikan objek, dan juga dapat menggunakan gambar dan video dari galeri perangkat untuk mengklasifikasikan objek secara statis.

Anda dapat menggunakan aplikasi ini sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke sana saat memodifikasi aplikasi yang ada. Kode contoh Pengklasifikasi Gambar dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari contoh kode menggunakan alat command line git.

Untuk mendownload kode contoh:

1. Clone repositori git menggunakan perintah berikut:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout sparse, sehingga Anda hanya memiliki file untuk aplikasi contoh Pengklasifikasi Gambar:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/image_classification/android
   

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mendapatkan petunjuk, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk gambar ini contoh aplikasi klasifikasi:

• ImageClassifierHelper.kt - Menginisialisasi pengklasifikasi gambar serta menangani model dan mendelegasikan pilihan.
• MainActivity.kt - Mengimplementasikan aplikasi, termasuk memanggil ImageClassificationHelper dan ClassificationResultsAdapter.
• ClassificationResultsAdapter.kt - Menangani dan memformat hasil.

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan mengkodekan project untuk menggunakan Pengklasifikasi Gambar. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Pengklasifikasi Gambar menggunakan library com.google.mediapipe:tasks-vision. Tambahkan ini dependensi ke file build.gradle dari Project pengembangan aplikasi Android. Impor dependensi yang dibutuhkan dengan kode berikut:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas Pengklasifikasi Gambar MediaPipe memerlukan model terlatih yang kompatibel dengan tugas Anda. Untuk informasi selengkapnya tentang model terlatih yang tersedia untuk Pengklasifikasi Gambar, lihat ringkasan tugas bagian Model.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menetapkan jalur yang digunakan oleh model. Metode ini dirujuk dalam contoh kode di bagian berikutnya bagian.

Di kolom Kode contoh Pengklasifikasi Gambar, model ini ditentukan di class ImageClassifierHelper.kt .

Membuat tugas

Anda dapat menggunakan fungsi createFromOptions untuk membuat tugas. Tujuan Fungsi createFromOptions menerima opsi konfigurasi termasuk menjalankan mode, nama tampilan lokal, jumlah hasil maksimal, ambang batas keyakinan, dan daftar kategori yang diizinkan atau ditolak. Untuk informasi selengkapnya tentang konfigurasi opsi, lihat Ringkasan Konfigurasi.

Tugas Pengklasifikasi Gambar mendukung 3 jenis data input: gambar diam, file video, dan streaming video live. Anda perlu menentukan mode berjalan yang sesuai dengan tipe data input Anda saat membuat tugas. Pilih tab yang sesuai dengan tipe data input Anda untuk melihat cara membuat tugas dan menjalankan inferensi.

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.IMAGE)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);
    

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.VIDEO)
    .setMaxResults(5)
    .build();
imageClassifier = ImageClassifier.createFromOptions(context, options);
    

ImageClassifierOptions options =
  ImageClassifierOptions.builder()
    .setBaseOptions(
      BaseOptions.builder().setModelAssetPath("model.tflite").build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setMaxResults(5)
    .setResultListener((result, inputImage) -> {
         // Process the classification result here.
    })
    .setErrorListener((result, inputImage) -> {
         // Process the classification errors here.
    })
    .build()
imageClassifier = ImageClassifier.createFromOptions(context, options)
    

Penerapan kode contoh Pengklasifikasi Gambar memungkinkan pengguna beralih antar mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini di fungsi setupImageClassifier() dari ImageClassifierHelper.kt .

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Menyiapkan data

Pengklasifikasi Gambar berfungsi dengan gambar, file video, dan video live stream. Tugas menangani pra-pemrosesan input data, termasuk mengubah ukuran, rotasi, dan nilai proses normalisasi.

Anda harus mengonversi gambar atau bingkai input menjadi com.google.mediapipe.framework.image.MPImage sebelum meneruskannya ke Pengklasifikasi Gambar.

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames 
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis, 
// extract the encapsulated Android’s Image object and convert it to 
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
Image mpImage = new MediaImageBuilder(mediaImage).build();
    

Di kolom kode contoh Pengklasifikasi Gambar, persiapan data ditangani dalam ImageClassifierHelper.kt .

Menjalankan tugas

Anda dapat memanggil fungsi classify yang sesuai dengan mode berjalan untuk memicu inferensi. Image Classifier API menampilkan kemungkinan kategori untuk objek dalam gambar atau bingkai input.

ImageClassifierResult classifierResult = imageClassifier.classify(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ImageClassifierResult classifierResult =
    imageClassifier.classifyForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The classifications results will be available 
// via the `resultListener` provided in the `ImageClassifierOptions` when 
// the image classifier was created.
imageClassifier.classifyAsync(image, frameTimestampMs);
    

Perhatikan hal berikut:

• Saat dalam mode video atau mode live stream, Anda juga harus memberikan stempel waktu frame input ke tugas Pengklasifikasi Gambar.
• Saat dijalankan dalam mode gambar atau video, tugas Pengklasifikasi Gambar memblokir utas saat ini hingga selesai memproses gambar input atau {i>frame<i}. Untuk menghindari pemblokiran antarmuka pengguna, jalankan pemrosesan dalam di thread latar belakang.
• Saat berjalan dalam mode live stream, tugas Pengklasifikasi Gambar tidak akan diblokir thread saat ini tetapi langsung kembali. Fungsi ini akan memanggil hasilnya dengan hasil deteksi setiap kali pemroses selesai memproses frame input. Jika fungsi classifyAsync dipanggil saat Pengklasifikasi Gambar sedang sibuk memproses {i>frame<i} lain, tugas tersebut mengabaikan {i>frame<i} input baru.

Di kolom Kode contoh Pengklasifikasi Gambar, fungsi classify ditentukan di bagian ImageClassifierHelper.kt .

Menangani dan menampilkan hasil

Setelah menjalankan inferensi, tugas Pengklasifikasi Gambar menampilkan objek ImageClassifierResult yang berisi daftar kemungkinan kategori untuk objek dalam gambar atau bingkai input.

Berikut ini contoh data output dari tugas ini:

ImageClassifierResult:
 Classifications #0 (single classification head):
  head index: 0
  category #0:
   category name: "/m/01bwb9"
   display name: "Passer domesticus"
   score: 0.91406
   index: 671
  category #1:
   category name: "/m/01bwbt"
   display name: "Passer montanus"
   score: 0.00391
   index: 670

Hasil ini diperoleh dengan menjalankan Bird Classifier pada:

Di kolom Kode contoh Pengklasifikasi Gambar, class ClassificationResultsAdapter di ClassificationResultsAdapter.kt menangani hasilnya:

fun updateResults(imageClassifierResult: ImageClassifierResult? = null) {
    categories = MutableList(adapterSize) { null }
    if (imageClassifierResult != null) {
        val sortedCategories = imageClassifierResult.classificationResult()
            .classifications()[0].categories().sortedBy { it.index() }
        val min = kotlin.math.min(sortedCategories.size, categories.size)
        for (i in 0 until min) {
            categories[i] = sortedCategories[i]
        }
    }
}