Panduan deteksi tempat terkenal pose

Seorang wanita dalam pose meditasi. Posenya ditandai dengan wireframe yang menunjukkan posisi anggota tubuh dan torsonya

Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi penanda tubuh manusia dalam gambar atau video. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi tubuh utama, menganalisis postur, dan mengategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang berfungsi dengan satu gambar atau video. Tugas ini menghasilkan penanda pose tubuh dalam koordinat gambar dan dalam koordinat dunia 3 dimensi.

Coba sekarang.

Mulai

Mulai gunakan tugas ini dengan mengikuti panduan penerapan untuk platform target Anda. Panduan khusus platform ini akan memandu Anda dalam penerapan dasar tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:

Detail tugas

Bagian ini menjelaskan kemampuan, input, output, dan opsi konfigurasi tugas ini.

Fitur

  • Pemrosesan gambar input - Pemrosesan mencakup rotasi gambar, pengubahan ukuran, normalisasi, dan konversi ruang warna.
  • Batas skor - Memfilter hasil berdasarkan skor prediksi.
Input tugas Output tugas
Pose Landmarker menerima input dari salah satu jenis data berikut:
  • Gambar diam
  • Frame video yang didekode
  • Feed video live
Pose Landmarker menghasilkan output berikut:
  • Menampilkan penanda pose dalam koordinat gambar yang dinormalisasi
  • Menampilkan penanda dalam koordinat dunia
  • Opsional: mask segmentasi untuk pose.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
running_mode Menetapkan mode berjalan untuk tugas. Ada tiga mode:

GAMBAR: Mode untuk input gambar tunggal.

VIDEO: Mode untuk frame video yang didekode.

LIVE_STREAM: Mode untuk live stream data input, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses guna menerima hasil secara asinkron.
{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses Jumlah maksimum pose yang dapat dideteksi oleh Pose Landmarker. Integer > 0 1
min_pose_detection_confidence Skor keyakinan minimum agar deteksi pose dianggap berhasil. Float [0.0,1.0] 0.5
min_pose_presence_confidence Skor keyakinan minimum dari skor kehadiran postur dalam deteksi penanda postur. Float [0.0,1.0] 0.5
min_tracking_confidence Skor keyakinan minimum agar pelacakan postur dianggap berhasil. Float [0.0,1.0] 0.5
output_segmentation_masks Apakah Pose Landmarker menghasilkan mask segmentasi untuk postur yang terdeteksi. Boolean False
result_callback Menetapkan pemroses hasil untuk menerima hasil penanda secara asinkron saat Pose Landmarker berada dalam mode live stream. Hanya dapat digunakan jika mode berjalan disetel ke LIVE_STREAM ResultListener N/A

Model

Pose Landmarker menggunakan serangkaian model untuk memprediksi penanda pose. Model pertama mendeteksi keberadaan tubuh manusia dalam bingkai gambar, dan model kedua menemukan penanda pada tubuh.

Model berikut dikemas bersama ke dalam paket model yang dapat didownload:

  • Model deteksi pose: mendeteksi kehadiran tubuh dengan beberapa penanda pose utama.
  • Model penanda pose: menambahkan pemetaan lengkap pose. Model ini mengeluarkan estimasi 33 penanda pose 3 dimensi.

Paket ini menggunakan jaringan saraf konvolusi yang mirip dengan MobileNetV2 dan dioptimalkan untuk aplikasi kebugaran real-time di perangkat. Varian dari model BlazePose ini menggunakan GHUM, pipeline pemodelan bentuk manusia 3D, untuk memperkirakan pose tubuh 3D lengkap seseorang dalam gambar atau video.

Paket model Bentuk input Jenis data Kartu Model Versi
Pose landmarker (lite) Detektor pose: 224 x 224 x 3
Penanda pose: 256 x 256 x 3
float 16 info Terbaru
Penanda pose (Lengkap) Detektor pose: 224 x 224 x 3
Penanda pose: 256 x 256 x 3
float 16 info Terbaru
Penanda posisi pose (Beban berat) Detektor pose: 224 x 224 x 3
Penanda pose: 256 x 256 x 3
float 16 info Terbaru

Model penanda pose

Model penanda pose melacak 33 lokasi penanda tubuh, yang mewakili perkiraan lokasi bagian tubuh berikut:

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index

Output model berisi koordinat ternormalisasi (Landmarks) dan koordinat dunia (WorldLandmarks) untuk setiap penanda.