Tugas Pengklasifikasi Gambar MediaPipe memungkinkan Anda melakukan klasifikasi pada gambar. Anda dapat menggunakan tugas ini untuk mengidentifikasi apa yang direpresentasikan oleh gambar di antara serangkaian kategori yang ditentukan pada waktu pelatihan. Petunjuk ini menunjukkan cara menggunakan Pengklasifikasi Gambar dengan Python.
Anda dapat melihat cara kerja tugas ini dengan melihat Demo web. Untuk informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.
Contoh kode
Kode contoh untuk Pengklasifikasi Gambar menyediakan implementasi lengkap tugas ini di Python sebagai referensi Anda. Kode ini membantu Anda menguji tugas ini dan mulai membuat pengklasifikasi gambar Anda sendiri. Anda dapat melihat, menjalankan, dan mengedit kode contoh Pengklasifikasi Gambar hanya menggunakan browser web.
Jika Anda mengimplementasikan Pengklasifikasi Gambar untuk Raspberry Pi, lihat aplikasi contoh Raspberry Pi.
Penyiapan
Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan mengkodekan project secara khusus untuk menggunakan Pengklasifikasi Gambar. Untuk informasi umum tentang menyiapkan lingkungan pengembangan Anda untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Python.
Paket
Pengklasifikasi Gambar bertugas menjalankan paket pip mediapipe. Anda dapat menginstal dependensi dengan hal berikut:
$ python -m pip install mediapipe
``` ### Imports
Import the following classes to access the Image Classifier task functions:
```python
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
Model
Tugas Pengklasifikasi Gambar MediaPipe memerlukan model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Pengklasifikasi Gambar, lihat ringkasan tugas bagian Model.
Pilih dan download model, lalu simpan di direktori lokal. Anda dapat menggunakan model EfficientNet-Lite0 yang direkomendasikan.
model_path = '/absolute/path/to/efficientnet_lite0_int8_2.tflite'
Tentukan jalur model dalam parameter Nama Model, seperti yang ditunjukkan di bawah ini:
base_options = BaseOptions(model_asset_path=model_path)
Membuat tugas
Gunakan fungsi create_from_options
untuk membuat tugas. Fungsi
create_from_options
menerima opsi konfigurasi termasuk mode
berjalan, lokalitas nama tampilan, jumlah hasil maksimal, nilai minimum keyakinan,
daftar kategori yang diizinkan, dan daftar tolak. Untuk informasi selengkapnya tentang opsi
konfigurasi, lihat Ringkasan Konfigurasi.
Tugas Pengklasifikasi Gambar mendukung 3 jenis data input: gambar diam, file video, dan streaming video live. Pilih tab yang sesuai dengan jenis data input Anda untuk melihat cara membuat tugas dan menjalankan inferensi.
Gambar
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ImageClassifier = mp.tasks.vision.ImageClassifier ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ImageClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.IMAGE) with ImageClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
Video
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ImageClassifier = mp.tasks.vision.ImageClassifier ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions VisionRunningMode = mp.tasks.vision.RunningMode options = ImageClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=VisionRunningMode.VIDEO) with ImageClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
Live stream
import mediapipe as mp BaseOptions = mp.tasks.BaseOptions ImageClassifierResult = mp.tasks.vision.ImageClassifier.ImageClassifierResult ImageClassifier = mp.tasks.vision.ImageClassifier ImageClassifierOptions = mp.tasks.vision.ImageClassifierOptions VisionRunningMode = mp.tasks.vision.RunningMode def print_result(result: ImageClassifierResult, output_image: mp.Image, timestamp_ms: int): print('ImageClassifierResult result: {}'.format(result)) options = ImageClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), running_mode=VisionRunningMode.LIVE_STREAM, max_results=5, result_callback=print_result) with ImageClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
Untuk contoh lengkap pembuatan Pengklasifikasi Gambar untuk digunakan bersama gambar, lihat contoh kode.
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Python:
Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
running_mode |
Menetapkan mode berjalan untuk tugas. Ada tiga
mode: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses agar menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
display_names_locale |
Menyetel bahasa label yang akan digunakan untuk nama tampilan yang diberikan dalam
metadata model tugas, jika tersedia. Defaultnya adalah en untuk bahasa Inggris. Anda dapat menambahkan label yang dilokalkan ke metadata model kustom menggunakan TensorFlow Lite Metadata Writer API |
Kode lokal | id |
max_results |
Menetapkan jumlah maksimum opsional dari hasil klasifikasi dengan skor tertinggi untuk ditampilkan. Jika < 0, semua hasil yang tersedia akan ditampilkan. | Semua angka positif | -1 |
score_threshold |
Menetapkan nilai minimum skor prediksi yang menggantikan nilai yang diberikan dalam metadata model (jika ada). Hasil di bawah nilai ini ditolak. | Float mana pun | Tidak ditetapkan |
category_allowlist |
Menetapkan daftar opsional untuk nama kategori yang diizinkan. Jika tidak kosong, hasil klasifikasi yang nama kategorinya tidak ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau yang tidak diketahui akan diabaikan.
Opsi ini sama-sama bersifat eksklusif dengan category_denylist dan penggunaan
keduanya akan menyebabkan error. |
String apa pun | Tidak ditetapkan |
category_denylist |
Menetapkan daftar opsional nama kategori yang tidak diizinkan. Jika tidak kosong, hasil klasifikasi dengan nama kategori yang ada dalam kumpulan ini akan difilter. Nama kategori duplikat atau yang tidak diketahui akan diabaikan. Opsi ini sama
eksklusif dengan category_allowlist dan penggunaan keduanya akan menghasilkan error. |
String apa pun | Tidak ditetapkan |
result_callback |
Menetapkan pemroses hasil untuk menerima hasil klasifikasi
secara asinkron saat Pengklasifikasi Gambar dalam mode
live stream. Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
T/A | Tidak ditetapkan |
Menyiapkan data
Siapkan input Anda sebagai file gambar atau array numpy, lalu konversikan menjadi objek mediapipe.Image
. Jika input Anda adalah file video atau live stream dari webcam, Anda dapat menggunakan library eksternal seperti OpenCV untuk memuat frame input sebagai array numpy.
Contoh berikut menjelaskan dan menunjukkan cara menyiapkan data untuk diproses untuk setiap jenis data yang tersedia
Gambar
import mediapipe as mp # Load the input image from an image file. mp_image = mp.Image.create_from_file('/path/to/image') # Load the input image from a numpy array. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_image)
Video
import mediapipe as mp # Use OpenCV’s VideoCapture to load the input video. # Load the frame rate of the video using OpenCV’s CV_CAP_PROP_FPS # You’ll need it to calculate the timestamp for each frame. # Loop through each frame in the video using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Live stream
import mediapipe as mp # Use OpenCV’s VideoCapture to start capturing from the webcam. # Create a loop to read the latest frame from the camera using VideoCapture#read() # Convert the frame received from OpenCV to a MediaPipe’s Image object. mp_image = mp.Image(image_format=mp.ImageFormat.SRGB, data=numpy_frame_from_opencv)
Menjalankan tugas
Anda dapat memanggil fungsi klasifikasi yang sesuai dengan mode berjalan untuk memicu inferensi. Image Classifier API akan menampilkan kategori yang memungkinkan untuk objek dalam gambar atau bingkai input.
Gambar
# Perform image classification on the provided single image. classification_result = classifier.classify(mp_image)
Video
# Calculate the timestamp of the current frame frame_timestamp_ms = 1000 * frame_index / video_file_fps # Perform image classification on the video frame. classification_result = classifier.classify_for_video(mp_image, frame_timestamp_ms)
Live stream
# Send the latest frame to perform image classification. # Results are sent to the `result_callback` provided in the `ImageClassifierOptions`. classifier.classify_async(mp_image, frame_timestamp_ms)
Perhatikan hal berikut:
- Saat berjalan dalam mode video atau mode live stream, Anda juga harus memberikan tugas Pengklasifikasi Gambar sebagai stempel waktu frame input.
- Saat dijalankan dalam model gambar atau video, tugas Pengklasifikasi Gambar akan memblokir thread saat ini hingga selesai memproses gambar atau bingkai input.
- Saat berjalan dalam mode live stream, tugas Pengklasifikasi Gambar tidak memblokir
thread saat ini, tetapi segera ditampilkan. Fungsi ini akan memanggil pemroses hasilnya dengan hasil klasifikasi setiap kali selesai memproses frame input. Jika fungsi
classifyAsync
dipanggil saat tugas Pengklasifikasi Gambar sedang sibuk memproses frame lain, tugas tersebut akan mengabaikan frame input baru.
Untuk contoh lengkap pembuatan Pengklasifikasi Gambar untuk digunakan bersama gambar, lihat contoh kode.
Menangani dan menampilkan hasil
Setelah menjalankan inferensi, tugas Pengklasifikasi Gambar menampilkan objek ImageClassifierResult
yang berisi daftar kategori yang memungkinkan untuk objek dalam gambar atau bingkai input.
Berikut ini contoh data output dari tugas ini:
ImageClassifierResult:
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "/m/01bwb9"
display name: "Passer domesticus"
score: 0.91406
index: 671
category #1:
category name: "/m/01bwbt"
display name: "Passer montanus"
score: 0.00391
index: 670
Hasil ini diperoleh dengan menjalankan Bird Classifier di:
Kode contoh Pengklasifikasi Gambar menunjukkan cara menampilkan hasil klasifikasi yang ditampilkan dari tugas. Lihat contoh kode untuk detailnya.