Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi tanda-tanda tubuh manusia dalam gambar atau video. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi utama, menganalisis postur tubuh, dan mengkategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang bekerja dengan gambar atau video tunggal. Tugas menghasilkan penanda body pose dalam gambar dan koordinat dunia 3 dimensi.
Mulai
Mulai gunakan tugas ini dengan mengikuti panduan implementasi untuk platform target. Panduan khusus platform ini memandu Anda memahami implementasi tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:
- Android - Contoh kode - Panduan
- Python - Contoh kode - Panduan
- Web - Contoh kode - Panduan
Detail tugas
Bagian ini menjelaskan kemampuan, input, output, dan konfigurasi opsi untuk tugas ini.
Fitur
- Pemrosesan gambar input - Pemrosesan mencakup rotasi gambar, pengubahan ukuran, normalisasi, dan konversi ruang warna.
- Ambang batas skor - Memfilter hasil berdasarkan skor prediksi.
| Input tugas | Output tugas |
|---|---|
Pose Landmarker menerima input dari salah satu jenis data berikut:
|
Pose Landmarker menghasilkan hasil berikut:
|
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut:
| Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
|---|---|---|---|
running_mode |
Menetapkan mode berjalan untuk tugas. Ada tiga
moda: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk live stream input besar, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang akan menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
Jumlah maksimum pose yang bisa dideteksi oleh Pose Landmarker. | Integer > 0 |
1 |
min_pose_detection_confidence |
Skor keyakinan minimum untuk deteksi pose dianggap berhasil. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
Skor keyakinan minimum dari kehadiran pose skor dalam deteksi penanda pose. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Skor keyakinan minimum untuk pelacakan pose untuk dianggap berhasil. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
Apakah Pose Landmarker menghasilkan mask segmentasi untuk objek yang terdeteksi berpose. | Boolean |
False |
result_callback |
Menetapkan pemroses hasil untuk menerima hasil landmark
secara asinkron saat Pose Landmarker berada dalam mode live stream.
Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
ResultListener |
N/A |
Model
Pose Landmarker menggunakan serangkaian model untuk memprediksi pose {i>landmark.<i} Yang pertama mendeteksi keberadaan tubuh manusia dalam bingkai gambar, dan model kedua model ini menemukan penanda di bagian tubuh.
Model berikut dikemas dalam paket model yang dapat didownload:
- Model deteksi pose: mendeteksi keberadaan tubuh dengan beberapa pose utama {i>landmark.<i}
- Model landmark pose: menambahkan pemetaan pose lengkap. Model menghasilkan perkiraan 33 landmark pose 3 dimensi.
Paket ini menggunakan jaringan neural konvolusional mirip dengan MobileNetV2 dan dioptimalkan untuk aplikasi kebugaran real-time di perangkat. Varian Model BlazePose menggunakan GHUM pipeline pemodelan bentuk manusia 3D, untuk memperkirakan pose tubuh 3D penuh secara individual dalam gambar atau video.
| Paket model | Bentuk input | Jenis data | Kartu Model | Versi |
|---|---|---|---|---|
| Menampilkan bangunan terkenal (ringan) | Detektor pose: 224 x 224 x 3 Tempat terkenal pose: 256 x 256 x 3 |
mengambang 16 | info | Terbaru |
| Penanda pose (Penuh) | Detektor pose: 224 x 224 x 3 Tempat terkenal pose: 256 x 256 x 3 |
mengambang 16 | info | Terbaru |
| Tempat terkenal pose (Berat) | Detektor pose: 224 x 224 x 3 Tempat terkenal pose: 256 x 256 x 3 |
mengambang 16 | info | Terbaru |
Model penanda pose
Model Landmarker pose melacak 33 lokasi penanda tubuh, yang mewakili perkiraan lokasi bagian tubuh berikut:
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
Output model berisi koordinat yang dinormalisasi (Landmarks) dan dunia
koordinat (WorldLandmarks) untuk setiap penanda.