Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi tempat terkenal tubuh manusia dalam gambar atau video. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi utama tubuh, menganalisis postur, dan mengategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang bekerja dengan satu gambar atau video. Tugas ini menghasilkan bangunan terkenal pose tubuh dalam koordinat gambar dan dalam koordinat dunia 3 dimensi.
Contoh kode yang dijelaskan dalam petunjuk ini tersedia di GitHub. Untuk mengetahui informasi selengkapnya tentang kemampuan, model, dan opsi konfigurasi tugas ini, lihat Ringkasan.
Contoh kode
Kode contoh Tugas MediaPipe adalah implementasi sederhana aplikasi Pose Landmarker untuk Android. Contoh ini menggunakan kamera pada perangkat Android fisik untuk mendeteksi pose dalam streaming video nonstop. Aplikasi ini juga dapat mendeteksi pose dalam gambar dan video dari galeri perangkat.
Anda dapat menggunakan aplikasi sebagai titik awal untuk aplikasi Android Anda sendiri, atau merujuk ke aplikasi tersebut saat memodifikasi aplikasi yang sudah ada. Kode contoh Pose Landmarker dihosting di GitHub.
Mendownload kode
Petunjuk berikut menunjukkan cara membuat salinan lokal dari kode contoh menggunakan alat command line git.
Untuk mendownload kode contoh:
- Clone repositori git menggunakan perintah berikut:
git clone https://github.com/google-ai-edge/mediapipe-samples
- Secara opsional, konfigurasikan instance git untuk menggunakan checkout sparse, sehingga Anda hanya memiliki file untuk aplikasi contoh Pose Landmarker:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/pose_landmarker/android
Setelah membuat versi lokal dari kode contoh, Anda dapat mengimpor project ke Android Studio dan menjalankan aplikasi. Untuk mengetahui petunjuknya, lihat Panduan Penyiapan untuk Android.
Komponen utama
File berikut berisi kode penting untuk aplikasi contoh penanda pose ini:
- PoseLandmarkerHelper.kt - Melakukan inisialisasi penanda pose dan menangani pemilihan model dan delegasi.
- CameraFragment.kt - Menangani kamera perangkat dan memproses data input gambar dan video.
- GalleryFragment.kt - Berinteraksi dengan
OverlayView
untuk menampilkan gambar atau video output. - OverlayView.kt - Mengimplementasikan tampilan untuk pose yang terdeteksi.
Penyiapan
Bagian ini menjelaskan langkah-langkah utama untuk menyiapkan lingkungan pengembangan dan membuat kode project secara khusus untuk menggunakan Pose Landmarker. Untuk informasi umum tentang menyiapkan lingkungan pengembangan Anda untuk menggunakan tugas MediaPipe, termasuk persyaratan versi platform, lihat Panduan penyiapan untuk Android.
Dependensi
Tugas Pose Landmarker menggunakan library com.google.mediapipe:tasks-vision
. Tambahkan
dependensi ini ke file build.gradle
aplikasi Android Anda:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Model
Tugas MediaPipe Pose Landmarker memerlukan paket model terlatih yang kompatibel dengan tugas ini. Untuk mengetahui informasi selengkapnya tentang model terlatih yang tersedia untuk Pose Landmarker, lihat bagian Model ringkasan tugas.
Pilih dan download model, serta simpan dalam direktori project Anda:
<dev-project-root>/src/main/assets
Tentukan jalur model dalam parameter ModelAssetPath
. Dalam kode contoh, model ditentukan dalam file PoseLandmarkerHelper.kt
:
val modelName = "pose_landmarker_lite.task"
baseOptionsBuilder.setModelAssetPath(modelName)
Membuat tugas
Tugas MediaPipe Pose Landmarker menggunakan fungsi createFromOptions()
untuk menyiapkan
tugas. Fungsi createFromOptions()
menerima nilai untuk opsi
konfigurasi. Untuk informasi selengkapnya tentang opsi konfigurasi, lihat Opsi
konfigurasi.
Pose Landmarker mendukung jenis data input berikut: gambar diam, file video, dan streaming video live. Anda perlu menentukan mode berjalan yang sesuai dengan jenis data input saat membuat tugas. Pilih tab untuk jenis data input Anda untuk melihat cara membuat tugas.
Gambar
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.IMAGE) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Video
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setRunningMode(RunningMode.VIDEO) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Live stream
val baseOptionsBuilder = BaseOptions.builder().setModelAssetPath(modelName) val baseOptions = baseOptionBuilder.build() val optionsBuilder = poseLandmarker.poseLandmarkerOptions.builder() .setBaseOptions(baseOptionsBuilder.build()) .setMinPoseDetectionConfidence(minPoseDetectionConfidence) .setMinTrackingConfidence(minPoseTrackingConfidence) .setMinPosePresenceConfidence(minposePresenceConfidence) .setNumPoses(maxNumPoses) .setResultListener(this::returnLivestreamResult) .setErrorListener(this::returnLivestreamError) .setRunningMode(RunningMode.LIVE_STREAM) val options = optionsBuilder.build() poseLandmarker = poseLandmarker.createFromOptions(context, options)
Implementasi kode contoh Pose Landmarker memungkinkan pengguna beralih antar-mode pemrosesan. Pendekatan ini membuat kode pembuatan tugas lebih rumit dan
mungkin tidak sesuai untuk kasus penggunaan Anda. Anda dapat melihat kode ini dalam
fungsi setupPoseLandmarker()
di
file
PoseLandmarkerHelper.kt
.
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut untuk aplikasi Android:
Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
---|---|---|---|
runningMode |
Menetapkan mode berjalan untuk tugas. Ada tiga
mode: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM } |
IMAGE |
numposes |
Jumlah maksimum pose yang dapat dideteksi oleh Penanda Pose. | Integer > 0 |
1 |
minPoseDetectionConfidence |
Skor keyakinan minimum untuk deteksi pose agar dianggap berhasil. | Float [0.0,1.0] |
0.5 |
minPosePresenceConfidence |
Skor keyakinan minimum skor kehadiran pose dalam deteksi penanda pose. | Float [0.0,1.0] |
0.5 |
minTrackingConfidence |
Skor keyakinan minimum untuk pelacakan pose agar dianggap berhasil. | Float [0.0,1.0] |
0.5 |
outputSegmentationMasks |
Apakah Pose Landmarker menghasilkan mask segmentasi untuk pose yang terdeteksi. | Boolean |
False |
resultListener |
Menetapkan pemroses hasil untuk menerima hasil penanda secara asinkron saat Pose Landmarker dalam mode live stream.
Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
ResultListener |
N/A |
errorListener |
Menetapkan pemroses error opsional. | ErrorListener |
N/A |
Menyiapkan data
Pose Landmarker berfungsi dengan gambar, file video, dan streaming video live. Tugas ini menangani prapemrosesan input data, termasuk pengubahan ukuran, rotasi, dan normalisasi nilai.
Kode berikut menunjukkan cara menyerahkan data untuk diproses. Contoh ini mencakup detail tentang cara menangani data dari gambar, file video, dan streaming video live.
Gambar
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(image).build()
Video
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage val argb8888Frame = if (frame.config == Bitmap.Config.ARGB_8888) frame else frame.copy(Bitmap.Config.ARGB_8888, false) // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(argb8888Frame).build()
Live stream
import com.google.mediapipe.framework.image.BitmapImageBuilder import com.google.mediapipe.framework.image.MPImage // Convert the input Bitmap object to an MPImage object to run inference val mpImage = BitmapImageBuilder(rotatedBitmap).build()
Dalam kode contoh Pose Landmarker, persiapan data ditangani di file PoseLandmarkerHelper.kt
.
Menjalankan tugas
Bergantung pada jenis data yang Anda kerjakan, gunakan metode poseLandmarker.detect...()
yang spesifik untuk jenis data tersebut. Gunakan
detect()
untuk gambar individual, detectForVideo()
untuk frame dalam file video,
dan detectAsync()
untuk streaming video. Saat melakukan deteksi pada
streaming video, pastikan Anda menjalankan deteksi pada thread terpisah untuk menghindari
pemblokiran thread interpose pengguna.
Contoh kode berikut menunjukkan contoh sederhana cara menjalankan Pose Landmarker dalam berbagai mode data ini:
Gambar
val result = poseLandmarker.detect(mpImage)
Video
val timestampMs = i * inferenceIntervalMs poseLandmarker.detectForVideo(mpImage, timestampMs) .let { detectionResult -> resultList.add(detectionResult) }
Live stream
val mpImage = BitmapImageBuilder(rotatedBitmap).build() val frameTime = SystemClock.uptimeMillis() poseLandmarker.detectAsync(mpImage, frameTime)
Perhatikan hal berikut:
- Saat berjalan dalam mode video atau mode live stream, Anda harus memberikan stempel waktu frame input ke tugas Pose Landmarker.
- Saat berjalan dalam mode gambar atau video, tugas Pose Landmarker memblokir thread saat ini hingga selesai memproses gambar atau frame input. Untuk menghindari pemblokiran interpose pengguna, jalankan pemrosesan di thread latar belakang.
- Saat berjalan dalam mode live stream, tugas Pose Landmarker akan segera ditampilkan dan tidak memblokir thread saat ini. Metode ini akan memanggil pemroses hasil dengan hasil deteksi setiap kali selesai memproses frame input.
Dalam kode contoh Pose Landmarker, fungsi detect
, detectForVideo
, dan detectAsync
ditentukan dalam file PoseLandmarkerHelper.kt
.
Menangani dan menampilkan hasil
Pose Landmarker menampilkan objek poseLandmarkerResult
untuk setiap deteksi
yang dijalankan. Objek hasil berisi koordinat untuk setiap penanda pose.
Berikut ini contoh data output dari tugas ini:
PoseLandmarkerResult:
Landmarks:
Landmark #0:
x : 0.638852
y : 0.671197
z : 0.129959
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.634599
y : 0.536441
z : -0.06984
visibility : 0.999909
presence : 0.999958
... (33 landmarks per pose)
WorldLandmarks:
Landmark #0:
x : 0.067485
y : 0.031084
z : 0.055223
visibility : 0.9999997615814209
presence : 0.9999984502792358
Landmark #1:
x : 0.063209
y : -0.00382
z : 0.020920
visibility : 0.999976
presence : 0.999998
... (33 world landmarks per pose)
SegmentationMasks:
... (pictured below)
Output-nya berisi koordinat yang dinormalisasi (Landmarks
) dan koordinat dunia (WorldLandmarks
) untuk setiap tempat terkenal.
Output berisi koordinat yang dinormalkan berikut (Landmarks
):
x
dany
: Koordinat tempat terkenal dinormalisasi antara 0,0 dan 1,0 dengan lebar (x
) dan tinggi gambar (y
).z
: Kedalaman tempat terkenal, dengan kedalaman di titik tengah pinggul sebagai asal. Semakin kecil nilainya, semakin dekat tempat terkenal ke kamera. Magnitudo z menggunakan skala yang kurang lebih sama denganx
.visibility
: Kemungkinan tempat terkenal terlihat dalam gambar.
Output berisi koordinat dunia berikut (WorldLandmarks
):
x
,y
, danz
: Koordinat 3 dimensi dunia nyata dalam meter, dengan titik tengah pinggul sebagai asal.visibility
: Kemungkinan tempat terkenal terlihat dalam gambar.
Gambar berikut menunjukkan visualisasi output tugas:
Mask segmentasi opsional mewakili kemungkinan setiap piksel milik orang yang terdeteksi. Gambar berikut adalah mask segmentasi dari output tugas:
Kode contoh Pose Landmarker menunjukkan cara menampilkan hasil yang ditampilkan
dari tugas, lihat
class
OverlayView
untuk detail selengkapnya.