Panduan deteksi tempat terkenal pose

Tugas MediaPipe Pose Landmarker memungkinkan Anda mendeteksi tanda-tanda tubuh manusia dalam gambar atau video Anda. Anda dapat menggunakan tugas ini untuk mengidentifikasi lokasi utama, menganalisis postur tubuh, dan mengkategorikan gerakan. Tugas ini menggunakan model machine learning (ML) yang bekerja dengan gambar atau video tunggal. Tugas menghasilkan penanda body pose dalam gambar dan koordinat dunia 3 dimensi.

Cobalah!

Mulai

Mulai gunakan tugas ini dengan mengikuti panduan implementasi untuk platform target. Panduan khusus platform ini memandu Anda memahami implementasi tugas ini, termasuk model yang direkomendasikan, dan contoh kode dengan opsi konfigurasi yang direkomendasikan:

Detail tugas

Bagian ini menjelaskan kemampuan, input, output, dan konfigurasi opsi untuk tugas ini.

Fitur

  • Pemrosesan gambar input - Pemrosesan mencakup rotasi gambar, pengubahan ukuran, normalisasi, dan konversi ruang warna.
  • Ambang batas skor - Memfilter hasil berdasarkan skor prediksi.
Input tugas Output tugas
Pose Landmarker menerima input dari salah satu jenis data berikut:
  • Gambar diam
  • Frame video yang didekode
  • Feed video live
 Pose Landmarker menghasilkan hasil berikut:
  • Menampilkan bangunan terkenal dalam koordinat gambar yang dinormalkan
  • Tampilkan tempat terkenal dalam koordinat dunia
  • Opsional: mask segmentasi untuk pose.

Opsi konfigurasi

Tugas ini memiliki opsi konfigurasi berikut:

Nama Opsi Deskripsi Rentang Nilai Nilai Default
running_mode Menetapkan mode berjalan untuk tugas. Ada tiga moda:

IMAGE: Mode untuk input gambar tunggal.

VIDEO: Mode untuk frame video yang didekode.

LIVE_STREAM: Mode untuk live stream input besar, seperti dari kamera. Dalam mode ini, resultListener harus dipanggil untuk menyiapkan pemroses yang akan menerima hasil secara asinkron. 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses Jumlah maksimum pose yang bisa dideteksi oleh Pose Landmarker. Integer > 0 1
min_pose_detection_confidence Skor keyakinan minimum untuk deteksi pose dianggap berhasil. Float [0.0,1.0] 0.5
min_pose_presence_confidence Skor keyakinan minimum untuk kehadiran pose skor dalam deteksi penanda pose. Float [0.0,1.0] 0.5
min_tracking_confidence Skor keyakinan minimum untuk pelacakan pose untuk dianggap berhasil. Float [0.0,1.0] 0.5
output_segmentation_masks Apakah Pose Landmarker menghasilkan mask segmentasi untuk objek yang terdeteksi berpose. Boolean False
result_callback Menetapkan pemroses hasil untuk menerima hasil landmark secara asinkron saat Pose Landmarker berada dalam mode live stream. Hanya dapat digunakan saat mode lari disetel ke LIVE_STREAM ResultListener N/A

Model

Pose Landmarker menggunakan serangkaian model untuk memprediksi pose {i>landmark.<i} Yang pertama mendeteksi keberadaan tubuh manusia dalam bingkai gambar, dan model kedua model ini menemukan penanda di bagian tubuh.

Model berikut dikemas dalam paket model yang dapat didownload:

  • Model deteksi pose: mendeteksi keberadaan tubuh dengan beberapa pose utama {i>landmark.<i}
  • Model landmark pose: menambahkan pemetaan pose lengkap. Model menghasilkan perkiraan 33 landmark pose 3 dimensi.

Paket ini menggunakan jaringan neural konvolusional mirip dengan MobileNetV2 dan dioptimalkan untuk aplikasi kebugaran real-time di perangkat. Varian Model BlazePose menggunakan GHUM pipeline pemodelan bentuk manusia 3D, untuk memperkirakan pose tubuh 3D penuh secara individual dalam gambar atau video.

Paket model Bentuk input Jenis data Kartu Model Versi
Menampilkan bangunan terkenal (ringan) Detektor pose: 224 x 224 x 3
Tempat terkenal pose: 256 x 256 x 3 		mengambang 16 info Terbaru
Penanda pose (Penuh) Detektor pose: 224 x 224 x 3
Tempat terkenal pose: 256 x 256 x 3 		mengambang 16 info Terbaru
Tempat terkenal pose (Berat) Detektor pose: 224 x 224 x 3
Tempat terkenal pose: 256 x 256 x 3 		mengambang 16 info Terbaru

Model penanda pose

Model Landmarker pose melacak 33 lokasi penanda tubuh, yang mewakili perkiraan lokasi bagian tubuh berikut:

Output model berisi koordinat yang dinormalisasi (Landmarks) dan dunia koordinat (WorldLandmarks) untuk setiap penanda.

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index