Panduan deteksi objek untuk Android

Tugas Detektor Objek memungkinkan Anda mendeteksi keadaan dan lokasi beberapa objek objek tertentu. Misalnya, detektor objek dapat menemukan di dalam gambar. Petunjuk ini menunjukkan cara menggunakan tugas Detektor Objek pada Android. Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Anda dapat melihat cara kerja tugas ini dengan melihat Demo web. Untuk mengetahui informasi selengkapnya terkait kemampuan, model, dan opsi konfigurasi. tugas ini, lihat Ringkasan.

Contoh kode

Kode contoh Tugas MediaPipe adalah implementasi sederhana dari Object Detector untuk Android. Contoh ini menggunakan kamera pada perangkat Android fisik untuk mendeteksi objek, dan juga dapat menggunakan gambar dan video dari galeri perangkat untuk mendeteksi objek secara statis.

Anda dapat menggunakan aplikasi ini sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke sana saat memodifikasi aplikasi yang ada. Kode contoh Detektor Objek dihosting di GitHub.

Mendownload kode

Petunjuk berikut menunjukkan cara membuat salinan lokal dari contoh kode menggunakan alat command line git.

Untuk mendownload kode contoh:

1. Clone repositori git menggunakan perintah berikut:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Secara opsional, konfigurasikan instance git Anda untuk menggunakan checkout sparse, jadi Anda hanya memiliki file untuk aplikasi contoh Object Detector:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/object_detection/android
   

Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mendapatkan petunjuk, lihat Panduan Penyiapan untuk Android.

Komponen utama

File berikut berisi kode penting untuk Detektor Objek contoh aplikasi:

• ObjectDetectorHelper.kt - Melakukan inisialisasi detektor objek serta menangani model dan delegasi pilihan
• MainActivity.kt - Mengimplementasikan aplikasi dan merakit komponen antarmuka pengguna
• OverlayView.kt - Menangani dan menampilkan hasil

Penyiapan

Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan project kode untuk menggunakan Object Detector. Untuk informasi umum tentang menyiapkan lingkungan pengembangan untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.

Dependensi

Detektor Objek menggunakan library com.google.mediapipe:tasks-vision. Tambahkan ini dependensi ke file build.gradle dari Project pengembangan aplikasi Android. Impor dependensi yang dibutuhkan dengan kode berikut:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Model

Tugas Detektor Objek MediaPipe memerlukan model terlatih yang kompatibel dengan tugas Anda. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Detektor Objek, lihat ringkasan tugas bagian Model.

Pilih dan download model, lalu simpan dalam direktori project Anda:

<dev-project-root>/src/main/assets

Gunakan metode BaseOptions.Builder.setModelAssetPath() untuk menetapkan jalur yang digunakan oleh model. Untuk contoh kode, lihat bagian berikutnya.

Membuat tugas

Anda dapat menggunakan fungsi createFromOptions untuk membuat tugas. Tujuan Fungsi createFromOptions menerima opsi konfigurasi termasuk menjalankan mode, nama tampilan lokal, jumlah hasil maksimal, ambang batas keyakinan, kategori yang diizinkan dan daftar tolak. Jika opsi konfigurasi tidak ditentukan, nilai default akan digunakan. Untuk informasi lebih lanjut tentang opsi konfigurasi, lihat Ringkasan Konfigurasi.

Tugas Detektor Objek mendukung 3 jenis data input: gambar diam, file video dan streaming video live. Anda perlu menentukan mode berjalan yang sesuai dengan tipe data input Anda saat membuat tugas. Pilih tab yang sesuai dengan tipe data input Anda untuk melihat cara membuat tugas dan menjalankan inferensi.

ObjectDetectorOptions options =
  ObjectDetectorOptions.builder()
    .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build())
    .setRunningMode(RunningMode.IMAGE)
    .setMaxResults(5)
    .build();
objectDetector = ObjectDetector.createFromOptions(context, options);
    

ObjectDetectorOptions options =
  ObjectDetectorOptions.builder()
    .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build())
    .setRunningMode(RunningMode.VIDEO)
    .setMaxResults(5)
    .build();
objectDetector = ObjectDetector.createFromOptions(context, options);
    

ObjectDetectorOptions options =
  ObjectDetectorOptions.builder()
    .setBaseOptions(BaseOptions.builder().setModelAssetPath(‘model.tflite’).build())
    .setRunningMode(RunningMode.LIVE_STREAM)
    .setMaxResults(5)
    .setResultListener((result, inputImage) -> {
      // Process the detection result here.
    })
    .setErrorListener((result, inputImage) -> {
      // Process the classification errors here.
    })
   .build();
objectDetector = ObjectDetector.createFromOptions(context, options);
    

Implementasi kode contoh Detektor Objek memungkinkan pengguna beralih antar mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini di ObjectDetectorHelper fungsi setupObjectDetector() class.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:

Menyiapkan data

Anda harus mengonversi gambar atau bingkai input menjadi Objek com.google.mediapipe.framework.image.MPImage sebelum meneruskannya ke Detektor Objek.

Contoh berikut menjelaskan dan menunjukkan cara menyiapkan data untuk diproses untuk setiap jenis data yang tersedia:

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load an image on the user’s device as a Bitmap object using BitmapFactory.

// Convert an Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(bitmap).build();
    

import com.google.mediapipe.framework.image.BitmapImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Load a video file on the user's device using MediaMetadataRetriever

// From the video’s metadata, load the METADATA_KEY_DURATION and
// METADATA_KEY_VIDEO_FRAME_COUNT values. Use these values
// to calculate the timestamp of each frame later.

// Loop through the video and load each frame as a Bitmap object.

// Convert the Android’s Bitmap object to a MediaPipe’s Image object.
Image mpImage = new BitmapImageBuilder(frame).build();
    

import com.google.mediapipe.framework.image.MediaImageBuilder;
import com.google.mediapipe.framework.image.MPImage;

// Create a CameraX’s ImageAnalysis to continuously receive frames
// from the device’s camera. Configure it to output frames in RGBA_8888
// format to match with what is required by the model.

// For each Android’s ImageProxy object received from the ImageAnalysis,
// extract the encapsulated Android’s Image object and convert it to
// a MediaPipe’s Image object.
android.media.Image mediaImage = imageProxy.getImage()
MPImage mpImage = new MediaImageBuilder(mediaImage).build();
    

Dalam kode contoh Detektor Objek, persiapan data ditangani di ObjectDetectorHelper dalam class detectImage(), detectVideoFile(), detectLivestreamFrame() fungsi-fungsi lainnya.

Menjalankan tugas

Tergantung pada jenis data yang Anda kerjakan, gunakan Metode ObjectDetector.detect...() yang spesifik untuk jenis data tersebut. Gunakan detect() untuk masing-masing gambar, detectForVideo() untuk frame dalam file video, dan detectAsync() untuk streaming video. Ketika Anda melakukan deteksi pada streaming video, pastikan Anda menjalankan deteksi pada thread terpisah untuk menghindari memblokir thread antarmuka pengguna.

Contoh kode berikut menunjukkan contoh sederhana tentang cara menjalankan Object Detector dalam mode data yang berbeda-beda ini:

ObjectDetectorResult detectionResult = objectDetector.detect(image);
    

// Calculate the timestamp in milliseconds of the current frame.
long frame_timestamp_ms = 1000 * video_duration * frame_index / frame_count;

// Run inference on the frame.
ObjectDetectorResult detectionResult =
    objectDetector.detectForVideo(image, frameTimestampMs);
    

// Run inference on the frame. The detection results will be available
// via the `resultListener` provided in the `ObjectDetectorOptions` when
// the object detector was created.
objectDetector.detectAsync(image, frameTimestampMs);
    

Contoh kode Detektor Objek menunjukkan implementasi dari mode secara lebih detail detect(), detectVideoFile(), dan detectAsync(). Kode contoh memungkinkan pengguna beralih antarmode pemrosesan yang mungkin tidak diperlukan untuk kasus penggunaan Anda.

Perhatikan hal berikut:

• Saat dalam mode video atau mode live stream, Anda juga harus memberikan stempel waktu {i>frame<i} input ke tugas {i>Object Detector<i}.
• Saat berjalan dalam mode gambar atau video, tugas Detektor Objek akan memblokir utas saat ini hingga selesai memproses gambar input atau {i>frame<i}. Untuk menghindari pemblokiran thread saat ini, jalankan pemrosesan dalam di thread latar belakang.
• Saat berjalan dalam mode live stream, tugas Detektor Objek tidak akan diblokir thread saat ini tetapi langsung kembali. Fungsi ini akan memanggil hasilnya dengan hasil deteksi setiap kali pemroses selesai memproses frame input. Jika fungsi deteksi dipanggil saat tugas Detektor Objek sedang sibuk memproses frame lain, frame input baru akan diabaikan.

Menangani dan menampilkan hasil

Setelah menjalankan inferensi, tugas Detektor Objek menampilkan Objek ObjectDetectorResult yang mendeskripsikan objek yang ditemukannya di gambar input.

Berikut ini contoh data output dari tugas ini:

ObjectDetectorResult:
 Detection #0:
  Box: (x: 355, y: 133, w: 190, h: 206)
  Categories:
   index       : 17
   score       : 0.73828
   class name  : dog
 Detection #1:
  Box: (x: 103, y: 15, w: 138, h: 369)
  Categories:
   index       : 17
   score       : 0.73047
   class name  : dog

Gambar berikut menunjukkan visualisasi output tugas:

Kode contoh Detektor Objek menunjukkan cara menampilkan deteksi hasil yang ditampilkan dari tugas, lihat OverlayView untuk detail selengkapnya.