Tugas Pengklasifikasi Gambar MediaPipe memungkinkan Anda melakukan klasifikasi pada gambar. Anda bisa menggunakan tugas ini untuk mengidentifikasi apa yang diwakili oleh gambar di antara serangkaian kategori yang ditentukan pada waktu pelatihan. Petunjuk ini menunjukkan cara menggunakan Pengklasifikasi Gambar dengan aplikasi Android. Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub.
Anda dapat mengetahui cara kerja tugas ini dengan melihat Demo web. Untuk informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.
Contoh kode
Kode contoh Tugas MediaPipe adalah implementasi sederhana dari aplikasi Pengklasifikasi Gambar untuk Android. Contoh ini menggunakan kamera di perangkat Android fisik untuk terus mengklasifikasikan objek, dan juga dapat menggunakan gambar dan video dari galeri perangkat untuk mengklasifikasikan objek secara statis.
Anda dapat menggunakan aplikasi sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuknya saat mengubah aplikasi yang ada. Kode contoh Pengklasifikasi Gambar dihosting di GitHub.
Mendownload kode
Petunjuk berikut menunjukkan cara membuat salinan lokal dari kode contoh menggunakan alat command line git.
Untuk mendownload kode contoh:
- Clone repositori git menggunakan perintah berikut:
git clone https://github.com/google-ai-edge/mediapipe-samples
- Anda juga dapat mengonfigurasi instance git untuk menggunakan checkout sparse,
sehingga Anda hanya memiliki file untuk aplikasi contoh Pengklasifikasi Gambar:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/image_classification/android
Setelah membuat versi lokal kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mengetahui petunjuknya, lihat Panduan Penyiapan untuk Android.
Komponen utama
File berikut berisi kode penting untuk aplikasi contoh klasifikasi gambar ini:
- ImageClassifierHelper.kt - Menginisialisasi pengklasifikasi gambar serta menangani pemilihan model dan delegasi.
- MainActivity.kt -
Mengimplementasikan aplikasi, termasuk memanggil
ImageClassificationHelper
danClassificationResultsAdapter
. - ClassificationResultsAdapter.kt - Menangani dan memformat hasil.
Penyiapan
Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan project kode agar dapat menggunakan Pengklasifikasi Gambar. Untuk mengetahui informasi umum tentang cara menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.
Dependensi
Pengklasifikasi Gambar menggunakan library com.google.mediapipe:tasks-vision
. Tambahkan dependensi
ini ke file build.gradle
project
pengembangan aplikasi Android Anda. Impor dependensi yang diperlukan dengan
kode berikut:
dependencies {
...
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Model
Tugas Pengklasifikasi Gambar MediaPipe memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Pengklasifikasi Gambar, lihat ringkasan tugas bagian Model.
Pilih dan download model, lalu simpan dalam direktori project Anda:
<dev-project-root>/src/main/assets
Gunakan metode BaseOptions.Builder.setModelAssetPath()
untuk menentukan jalur yang digunakan oleh model. Metode ini dirujuk dalam contoh kode di bagian
berikutnya.
Dalam
kode contoh Pengklasifikasi Gambar,
model ditentukan dalam file
ImageClassifierHelper.kt
.
Membuat tugas
Anda dapat menggunakan fungsi createFromOptions
untuk membuat tugas. Fungsi createFromOptions
menerima opsi konfigurasi termasuk mode berjalan, lokalitas nama tampilan, jumlah hasil maksimal, nilai minimum keyakinan, dan daftar kategori yang diizinkan atau daftar tolak. Untuk informasi selengkapnya tentang opsi
konfigurasi, lihat Ringkasan Konfigurasi.
Tugas Pengklasifikasi Gambar mendukung 3 jenis data input: gambar diam, file video, dan streaming video live. Anda harus menentukan mode berjalan yang sesuai dengan jenis data input saat membuat tugas. Pilih tab yang sesuai dengan jenis data input Anda untuk melihat cara membuat tugas dan menjalankan inferensi.
Gambar
ImageClassifierOptions options = ImageClassifierOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.IMAGE) .setMaxResults(5) .build(); imageClassifier = ImageClassifier.createFromOptions(context, options);
Video
ImageClassifierOptions options = ImageClassifierOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.VIDEO) .setMaxResults(5) .build(); imageClassifier = ImageClassifier.createFromOptions(context, options);
Live stream
ImageClassifierOptions options = ImageClassifierOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.LIVE_STREAM) .setMaxResults(5) .setResultListener((result, inputImage) -> { // Process the classification result here. }) .setErrorListener((result, inputImage) -> { // Process the classification errors here. }) .build() imageClassifier = ImageClassifier.createFromOptions(context, options)
Implementasi kode contoh Pengklasifikasi Gambar memungkinkan pengguna beralih antar-mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan
mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini dalam
fungsi setupImageClassifier()
dari
file
ImageClassifierHelper.kt
.
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:
Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
runningMode |
Menetapkan mode berjalan untuk tugas. Ada tiga
mode: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses agar menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
displayNamesLocale |
Menyetel bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam
metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API |
Kode lokal | id |
maxResults |
Menetapkan jumlah maksimum opsional dari hasil klasifikasi dengan skor tertinggi untuk ditampilkan. Jika < 0, semua hasil yang tersedia akan ditampilkan. | Semua angka positif | -1 |
scoreThreshold |
Menetapkan nilai minimum skor prediksi yang menggantikan nilai yang diberikan dalam metadata model (jika ada). Hasil di bawah nilai ini ditolak. | Float mana pun | Tidak ditetapkan |
categoryAllowlist |
Menetapkan daftar opsional untuk nama kategori yang diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya tidak ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau yang tidak diketahui akan diabaikan.
Opsi ini sama-sama bersifat eksklusif dengan categoryDenylist dan penggunaan
keduanya akan menyebabkan error. |
String apa pun | Tidak ditetapkan |
categoryDenylist |
Menetapkan daftar opsional nama kategori yang tidak diizinkan. Jika tidak kosong, hasil klasifikasi dengan nama kategori yang ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau yang tidak diketahui akan diabaikan. Opsi ini sama
eksklusif dengan categoryAllowlist dan penggunaan keduanya akan menghasilkan error. |
String apa pun | Tidak ditetapkan |
resultListener |
Menetapkan pemroses hasil untuk menerima hasil klasifikasi
secara asinkron saat Pengklasifikasi Gambar dalam mode
live stream. Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
T/A | Tidak ditetapkan |
errorListener |
Menetapkan pemroses error opsional. | T/A | Tidak ditetapkan |
Menyiapkan data
Pengklasifikasi Gambar berfungsi dengan gambar, file video, dan video live stream. Tugas ini menangani prapemrosesan input data, termasuk mengubah ukuran, rotasi, dan normalisasi nilai.
Anda harus mengonversi gambar atau bingkai input menjadi
objek com.google.mediapipe.framework.image.MPImage
sebelum meneruskannya ke
Pengklasifikasi Gambar.
Gambar
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load an image on the user’s device as a Bitmap object using BitmapFactory. // Convert an Android’s Bitmap object to a MediaPipe’s Image object. Image mpImage = new BitmapImageBuilder(bitmap).build();
Video
import com.google.mediapipe.framework.image.BitmapImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Load a video file on the user's device using MediaMetadataRetriever // From the video’s metadata, load the METADATA_KEY_DURATION and // METADATA_KEY_VIDEO_FRAME_COUNT value. You’ll need them // to calculate the timestamp of each frame later. // Loop through the video and load each frame as a Bitmap object. // Convert the Android’s Bitmap object to a MediaPipe’s Image object. Image mpImage = new BitmapImageBuilder(frame).build();
Live stream
import com.google.mediapipe.framework.image.MediaImageBuilder; import com.google.mediapipe.framework.image.MPImage; // Create a CameraX’s ImageAnalysis to continuously receive frames // from the device’s camera. Configure it to output frames in RGBA_8888 // format to match with what is required by the model. // For each Android’s ImageProxy object received from the ImageAnalysis, // extract the encapsulated Android’s Image object and convert it to // a MediaPipe’s Image object. android.media.Image mediaImage = imageProxy.getImage() Image mpImage = new MediaImageBuilder(mediaImage).build();
Dalam
kode contoh Pengklasifikasi Gambar, persiapan data ditangani dalam
file
ImageClassifierHelper.kt
.
Menjalankan tugas
Anda dapat memanggil fungsi classify
yang sesuai dengan mode berjalan untuk memicu inferensi. Image Classifier API menampilkan kemungkinan kategori untuk objek dalam gambar atau bingkai input.
Gambar
ImageClassifierResult classifierResult = imageClassifier.classify(image);
Video
// Calculate the timestamp in milliseconds of the current frame. long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count; // Run inference on the frame. ImageClassifierResult classifierResult = imageClassifier.classifyForVideo(image, frameTimestampMs);
Live stream
// Run inference on the frame. The classifications results will be available // via the `resultListener` provided in the `ImageClassifierOptions` when // the image classifier was created. imageClassifier.classifyAsync(image, frameTimestampMs);
Perhatikan hal berikut:
- Saat berjalan dalam mode video atau mode live stream, Anda juga harus memberikan stempel waktu frame input ke tugas Pengklasifikasi Gambar.
- Saat dijalankan dalam mode gambar atau video, tugas Pengklasifikasi Gambar memblokir thread saat ini hingga selesai memproses gambar atau bingkai input. Untuk menghindari pemblokiran antarmuka pengguna, jalankan pemrosesan di thread latar belakang.
- Saat berjalan dalam mode live stream, tugas Pengklasifikasi Gambar tidak memblokir
thread saat ini, tetapi segera ditampilkan. Fungsi ini akan memanggil pemroses hasilnya dengan hasil deteksi setiap kali selesai memproses frame input. Jika fungsi
classifyAsync
dipanggil saat tugas Pengklasifikasi Gambar sedang sibuk memproses frame lain, tugas tersebut akan mengabaikan frame input baru.
Dalam
kode contoh Pengklasifikasi Gambar, fungsi classify
ditentukan dalam
file
ImageClassifierHelper.kt
.
Menangani dan menampilkan hasil
Setelah menjalankan inferensi, tugas Pengklasifikasi Gambar menampilkan objek ImageClassifierResult
yang berisi daftar kemungkinan kategori untuk objek dalam gambar atau bingkai input.
Berikut ini contoh data output dari tugas ini:
ImageClassifierResult:
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "/m/01bwb9"
display name: "Passer domesticus"
score: 0.91406
index: 671
category #1:
category name: "/m/01bwbt"
display name: "Passer montanus"
score: 0.00391
index: 670
Hasil ini diperoleh dengan menjalankan Bird Classifier di:
Dalam
kode contoh Pengklasifikasi Gambar, class ClassificationResultsAdapter
dalam
file ClassificationResultsAdapter.kt
akan menangani hasilnya:
fun updateResults(imageClassifierResult: ImageClassifierResult? = null) {
categories = MutableList(adapterSize) { null }
if (imageClassifierResult != null) {
val sortedCategories = imageClassifierResult.classificationResult()
.classifications()[0].categories().sortedBy { it.index() }
val min = kotlin.math.min(sortedCategories.size, categories.size)
for (i in 0 until min) {
categories[i] = sortedCategories[i]
}
}
}