Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi tempat terkenal tubuh manusia dalam gambar atau video. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi utama tubuh, menganalisis postur, dan mengategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang bekerja dengan satu gambar atau video. Tugas ini menghasilkan bangunan terkenal pose tubuh dalam koordinat gambar dan dalam koordinat dunia 3 dimensi.
Mulai
Mulai gunakan tugas ini dengan mengikuti panduan penerapan untuk platform target Anda. Panduan khusus platform ini akan memandu Anda dalam menerapkan dasar tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:
- Android - Contoh kode - Panduan
- Python - Contoh kode - Panduan
- Web - Contoh kode - Panduan
Detail tugas
Bagian ini menjelaskan kemampuan, input, output, dan opsi konfigurasi tugas ini.
Fitur
- Pemrosesan gambar input - Pemrosesan mencakup rotasi gambar, pengubahan ukuran, normalisasi, dan konversi ruang warna.
- Batas skor - Memfilter hasil berdasarkan skor prediksi.
| Input tugas | Output tugas |
|---|---|
Penanda Pose menerima input dari salah satu jenis data berikut:
|
Pose Landmarker menampilkan hasil berikut:
|
Opsi konfigurasi
Tugas ini memiliki opsi konfigurasi berikut:
| Nama Opsi | Deskripsi | Rentang Nilai | Nilai Default |
|---|---|---|---|
running_mode |
Menetapkan mode berjalan untuk tugas. Ada tiga
mode: IMAGE: Mode untuk input gambar tunggal. VIDEO: Mode untuk frame video yang didekode. LIVE_STREAM: Mode untuk livestream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang menerima hasil secara asinkron. |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
Jumlah maksimum pose yang dapat dideteksi oleh Penanda Pose. | Integer > 0 |
1 |
min_pose_detection_confidence |
Skor keyakinan minimum untuk deteksi pose agar dianggap berhasil. | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
Skor keyakinan minimum skor kehadiran pose dalam deteksi penanda pose. | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
Skor keyakinan minimum untuk pelacakan pose agar dianggap berhasil. | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
Apakah Pose Landmarker menghasilkan mask segmentasi untuk pose yang terdeteksi. | Boolean |
False |
result_callback |
Menetapkan pemroses hasil untuk menerima hasil penanda secara asinkron saat Pose Landmarker dalam mode live stream.
Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM |
ResultListener |
N/A |
Model
Pose Landmarker menggunakan serangkaian model untuk memprediksi pose {i>landmark<i}. Model pertama mendeteksi keberadaan tubuh manusia dalam bingkai gambar, dan model kedua menemukan tempat terkenal pada tubuh tersebut.
Model berikut dikemas bersama menjadi paket model yang dapat didownload:
- Model deteksi pose: mendeteksi kehadiran mayat dengan beberapa bangunan terkenal pose utama.
- Model penanda pose: menambahkan pemetaan lengkap dari pose. Model ini menghasilkan perkiraan 33 bangunan terkenal pose 3 dimensi.
Paket ini menggunakan jaringan neural konvolusional yang mirip dengan MobileNetV2 dan dioptimalkan untuk aplikasi kebugaran real-time di perangkat. Varian model BlazePose ini menggunakan GHUM, pipeline pemodelan bentuk manusia 3D, untuk memperkirakan pose tubuh 3D penuh seseorang dalam gambar atau video.
| Paket model | Bentuk input | Jenis data | Kartu Model | Versions |
|---|---|---|---|---|
| Penanda pose (lite) | Detektor pose: 224 x 224 x 3 Penanda pose: 256 x 256 x 3 |
float 16 | info | Terbaru |
| Penanda pose (Lengkap) | Detektor pose: 224 x 224 x 3 Penanda pose: 256 x 256 x 3 |
float 16 | info | Terbaru |
| Penanda pose (Berat) | Detektor pose: 224 x 224 x 3 Penanda pose: 256 x 256 x 3 |
float 16 | info | Terbaru |
Model penanda pose
Model penanda pose melacak 33 lokasi penanda tubuh, yang mewakili lokasi perkiraan bagian tubuh berikut:
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
Output model berisi koordinat yang dinormalisasi (Landmarks) dan koordinat dunia (WorldLandmarks) untuk setiap tempat terkenal.