งานจุดสังเกตท่าทางของ MediaPipe ช่วยให้คุณตรวจหาจุดสังเกตของร่างกายมนุษย์ในรูปภาพหรือวิดีโอได้ คุณสามารถใช้งานนี้เพื่อระบุตำแหน่งสำคัญของร่างกาย วิเคราะห์ท่าทาง และจัดหมวดหมู่การเคลื่อนไหว งานนี้ใช้โมเดลแมชชีนเลิร์นนิง (ML) ที่ทำงานกับรูปภาพหรือวิดีโอรายการเดียว งานนี้จะแสดงผลจุดสังเกตของท่าทางร่างกายในพิกัดรูปภาพและพิกัดโลก 3 มิติ
เริ่มต้นใช้งาน
เริ่มใช้แท็บงานนี้โดยทําตามคู่มือการใช้งานสําหรับแพลตฟอร์มเป้าหมาย คำแนะนำเฉพาะแพลตฟอร์มเหล่านี้จะแนะนำการใช้งานพื้นฐานของงานนี้ รวมถึงโมเดลที่แนะนำและตัวอย่างโค้ดพร้อมตัวเลือกการกำหนดค่าที่แนะนำ
- Android - ตัวอย่างโค้ด - คำแนะนำ
- Python - ตัวอย่างโค้ด - คู่มือ
- เว็บ - ตัวอย่างโค้ด - คำแนะนำ
รายละเอียดงาน
ส่วนนี้จะอธิบายความสามารถ อินพุต เอาต์พุต และตัวเลือกการกำหนดค่าของงานนี้
ฟีเจอร์
- การประมวลผลรูปภาพอินพุต - การประมวลผลประกอบด้วยการหมุนรูปภาพ การปรับขนาด การปรับให้เป็นมาตรฐาน และการแปลงพื้นที่สี
- เกณฑ์คะแนน - กรองผลลัพธ์ตามคะแนนการคาดการณ์
| อินพุตงาน | เอาต์พุตของงาน |
|---|---|
เครื่องมือระบุจุดสังเกตของท่าทางยอมรับอินพุตประเภทข้อมูลต่อไปนี้
|
โปรแกรมระบุจุดสังเกตของท่าทางจะแสดงผลลัพธ์ต่อไปนี้
|
ตัวเลือกการกําหนดค่า
งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้
| ชื่อตัวเลือก | คำอธิบาย | ช่วงของค่า | ค่าเริ่มต้น |
|---|---|---|---|
running_mode |
ตั้งค่าโหมดการทํางานสําหรับงาน โดยโหมดมี 3 แบบ ดังนี้ รูปภาพ: โหมดสำหรับอินพุตรูปภาพเดียว วิดีโอ: โหมดสำหรับเฟรมที่ถอดรหัสของวิดีโอ LIVE_STREAM: โหมดสตรีมแบบสดของข้อมูลอินพุต เช่น จากกล้อง ในโหมดนี้ คุณต้องเรียกใช้ resultListener เพื่อตั้งค่า Listener เพื่อรับผลลัพธ์แบบไม่พร้อมกัน |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
จำนวนท่าทางสูงสุดที่ตัวระบุจุดสังเกตของท่าทางสามารถตรวจจับได้ | Integer > 0 |
1 |
min_pose_detection_confidence |
คะแนนความเชื่อมั่นขั้นต่ำที่การตรวจจับท่าทางจะถือว่าสำเร็จ | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
คะแนนความเชื่อมั่นขั้นต่ำของคะแนนการมีอยู่ของท่าทางในการตรวจหาจุดสังเกตของท่าทาง | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
คะแนนความเชื่อมั่นขั้นต่ำสำหรับการติดตามท่าทางที่ถือว่าสำเร็จ | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
ฟีเจอร์จุดสังเกตของท่าทางจะแสดงผลหน้ากากการแบ่งกลุ่มสำหรับท่าทางที่ตรวจพบหรือไม่ | Boolean |
False |
result_callback |
ตั้งค่าตัวรับผลลัพธ์ให้รับผลลัพธ์ของจุดสังเกตแบบไม่พร้อมกันเมื่อจุดสังเกตท่าทางอยู่ในโหมดสตรีมแบบสด
ใช้ได้เมื่อตั้งค่าโหมดการทํางานเป็น LIVE_STREAM เท่านั้น |
ResultListener |
N/A |
โมเดล
เครื่องมือระบุจุดสังเกตของท่าทางใช้ชุดโมเดลเพื่อคาดการณ์จุดสังเกตของท่าทาง โมเดลแรกจะตรวจหาร่างกายมนุษย์ภายในเฟรมรูปภาพ และโมเดลที่ 2 จะหาจุดสังเกตบนร่างกาย
โมเดลต่อไปนี้จะรวมกันเป็นกลุ่มโมเดลที่ดาวน์โหลดได้
- โมเดลการตรวจจับท่าทาง: ตรวจหาร่างกายที่มีจุดสังเกตสำคัญเกี่ยวกับท่าทาง
- โมเดลจุดสังเกตของท่าทาง: เพิ่มการแมปท่าทางอย่างสมบูรณ์ โมเดลจะแสดงผลจุดสังเกตท่าทาง 3 มิติโดยประมาณ 33 จุด
แพ็กเกจนี้ใช้โครงข่ายประสาทแบบ ConvNet ซึ่งคล้ายกับ MobileNetV2 และได้รับการเพิ่มประสิทธิภาพสำหรับแอปพลิเคชันฟิตเนสแบบเรียลไทม์ในอุปกรณ์ โมเดล BlazePose รูปแบบนี้ใช้ GHUM ซึ่งเป็นไปป์ไลน์การสร้างแบบจำลองรูปร่างมนุษย์ 3 มิติ เพื่อประมาณท่าทางของร่างกาย 3 มิติทั้งหมดของบุคคลในรูปภาพหรือวิดีโอ
| แพ็กเกจโมเดล | รูปร่างอินพุต | ประเภทข้อมูล | การ์ดโมเดล | เวอร์ชัน |
|---|---|---|---|---|
| เครื่องระบุจุดสังเกตของท่าทาง (Lite) | ตัวตรวจจับท่าทาง: 224 x 224 x 3 เครื่องระบุจุดสังเกตท่าทาง: 256 x 256 x 3 |
ลอย 16 | ข้อมูล | ล่าสุด |
| เครื่องระบุจุดสังเกตของท่าทาง (แบบสมบูรณ์) | ตัวตรวจจับท่าทาง: 224 x 224 x 3 ตัวระบุจุดสังเกตท่าทาง: 256 x 256 x 3 |
ลอย 16 | ข้อมูล | ล่าสุด |
| เครื่องระบุจุดสังเกตของท่าทาง (มาก) | ตัวตรวจจับท่าทาง: 224 x 224 x 3 เครื่องระบุจุดสังเกตท่าทาง: 256 x 256 x 3 |
ลอย 16 | ข้อมูล | ล่าสุด |
โมเดลจุดสังเกตของท่าทาง
โมเดลจุดสังเกตท่าทางจะติดตามตำแหน่งจุดสังเกตของร่างกาย 33 จุด ซึ่งแสดงตำแหน่งโดยประมาณของส่วนต่างๆ ของร่างกายต่อไปนี้
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
เอาต์พุตของโมเดลมีทั้งพิกัดที่ปรับมาตรฐาน (Landmarks) และพิกัดโลก (WorldLandmarks) สำหรับจุดสังเกตแต่ละจุด