งานเครื่องมือจุดสังเกตของ MediaPipe Pose ช่วยให้คุณตรวจหาจุดสังเกตต่างๆ ของร่างกายมนุษย์ในรูปภาพหรือ ในการสร้างสรรค์วิดีโอ คุณสามารถใช้งานนี้เพื่อระบุตำแหน่งของร่างกายที่สำคัญ วิเคราะห์ท่าทาง และจำแนกการเคลื่อนไหว งานนี้ใช้โมเดลแมชชีนเลิร์นนิง (ML) ที่ ทำงานร่วมกับรูปภาพหรือวิดีโอรายการเดียว งานจะแสดงเนื้อหาลักษณะจุดสังเกตในรูปภาพ และพิกัดโลก 3 มิติ
เริ่มต้นใช้งาน
เริ่มใช้งานนี้โดยทําตามคู่มือการติดตั้งใช้งานสําหรับ แพลตฟอร์มเป้าหมาย คำแนะนำเฉพาะแพลตฟอร์มเหล่านี้จะแนะนำคุณเกี่ยวกับข้อมูลเบื้องต้น การนำงานนี้ไปใช้ รวมถึงโมเดลที่แนะนำและตัวอย่างโค้ด พร้อมตัวเลือกการกำหนดค่าที่แนะนำ:
- Android - ตัวอย่างโค้ด - คำแนะนำ
- Python - ตัวอย่างโค้ด - คำแนะนำ
- เว็บ - ตัวอย่างโค้ด - คำแนะนำ
รายละเอียดงาน
ส่วนนี้จะอธิบายความสามารถ อินพุต เอาต์พุต และการกำหนดค่า ของงานนี้
ฟีเจอร์
- การประมวลผลรูปภาพอินพุต - การประมวลผลประกอบด้วยการหมุนรูปภาพ การปรับขนาด การปรับให้เป็นมาตรฐาน และการแปลงพื้นที่สี
- เกณฑ์คะแนน - กรองผลลัพธ์ตามคะแนนการคาดการณ์
| อินพุตงาน | เอาต์พุตของงาน |
|---|---|
เครื่องมือจุดสังเกตของท่าทางยอมรับอินพุตของประเภทข้อมูลใดประเภทหนึ่งต่อไปนี้
|
เครื่องมือจุดสังเกตของท่าทางจะแสดงผลลัพธ์ต่อไปนี้
|
ตัวเลือกการกำหนดค่า
งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้
| ชื่อตัวเลือก | คำอธิบาย | ช่วงค่า | ค่าเริ่มต้น |
|---|---|---|---|
running_mode |
ตั้งค่าโหมดการทำงานสำหรับงาน มี 3 แบบ
โหมด: รูปภาพ: โหมดสำหรับอินพุตรูปภาพเดียว วิดีโอ: โหมดสำหรับเฟรมที่ถอดรหัสของวิดีโอ LIVE_STREAM: โหมดสำหรับสตรีมแบบสดของอินพุต เช่น ข้อมูลจากกล้อง ในโหมดนี้ resultsListener ต้องเป็น ถูกเรียกให้ตั้งค่า Listener เพื่อรับผลลัพธ์ แบบไม่พร้อมกัน |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
จำนวนท่าทางสูงสุดที่ตรวจพบโดย เครื่องมือแนะนำท่าโพส | Integer > 0 |
1 |
min_pose_detection_confidence |
คะแนนความเชื่อมั่นขั้นต่ำสำหรับการตรวจจับท่าทาง ถือว่าประสบความสำเร็จ | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
คะแนนความเชื่อมั่นขั้นต่ำของการแสดงท่าทาง ในการตรวจหาจุดสังเกตของท่าทาง | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
คะแนนความเชื่อมั่นขั้นต่ำสำหรับการติดตามท่าทาง จะถือว่าประสบความสำเร็จ | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
เครื่องมือจุดสังเกตของท่าทางจะแสดงมาสก์การแบ่งกลุ่มสำหรับที่ตรวจพบหรือไม่ โพสท่า | Boolean |
False |
result_callback |
ตั้งค่า Listener ผลลัพธ์เพื่อรับผลลัพธ์ของจุดสังเกต
แบบไม่พร้อมกันเมื่อเครื่องมือจุดสังเกตท่าทางอยู่ในโหมดสตรีมแบบสด
ใช้ได้เมื่อตั้งค่าโหมดวิ่งเป็น LIVE_STREAM เท่านั้น |
ResultListener |
N/A |
โมเดล
เครื่องมือจุดสังเกตของท่าทางใช้ชุดโมเดลเพื่อคาดการณ์ตำแหน่งจุดสังเกต แท็ก โมเดลนี้จะตรวจจับการมีอยู่ของร่างกายมนุษย์ในเฟรมภาพ และ โมเดลหาจุดสังเกตบนร่างกาย
โมเดลต่อไปนี้ถูกจัดรวมกันเป็นแพ็กเกจโมเดลที่ดาวน์โหลดได้
- โมเดลการตรวจจับท่าทาง: ตรวจหาการมีอยู่ของร่างกายด้วยท่าทางที่สําคัญ 2-3 ท่า จุดสังเกต
- โมเดลเครื่องมือจุดสังเกต: เพิ่มการแมปตำแหน่งที่สมบูรณ์ โมเดล แสดงจุดสังเกตโดยประมาณของโพสท่า 3 มิติจำนวน 33 ตำแหน่ง
กลุ่มนี้ใช้โครงข่ายระบบประสาทเทียมแบบคอนโวลูชัน (Convolutional) คล้ายกับ MobileNetV2 และได้รับการเพิ่มประสิทธิภาพ สำหรับแอปพลิเคชันการออกกำลังกายแบบเรียลไทม์บนอุปกรณ์ ตัวแปรนี้ของ โมเดล BlazePose ใช้ GHUM ไปป์ไลน์การสร้างโมเดลรูปทรง 3 มิติ เพื่อประมาณท่าทางร่างกายแบบ 3 มิติทั้งหมดของ แต่ละภาพในรูปภาพหรือวิดีโอ
| แพ็กเกจรุ่น | รูปร่างอินพุต | ประเภทข้อมูล | การ์ดโมเดล | เวอร์ชัน |
|---|---|---|---|---|
| โพสท่าถ่ายรูปที่มีชื่อเสียง (Lite) | ตัวตรวจจับท่าทาง: 224 x 224 x 3 โพสท่าจุดสังเกต: 256 x 256 x 3 |
ทศนิยม 16 | ข้อมูล | ล่าสุด |
| โพสท่าใช้จุดสังเกต (ราคาเต็ม) | ตัวตรวจจับท่าทาง: 224 x 224 x 3 โพสท่าจุดสังเกต: 256 x 256 x 3 |
ทศนิยม 16 | ข้อมูล | ล่าสุด |
| โพสท่าถ่ายรูปที่มีชื่อเสียง (หนัก) | ตัวตรวจจับท่าทาง: 224 x 224 x 3 โพสท่าจุดสังเกต: 256 x 256 x 3 |
ทศนิยม 16 | ข้อมูล | ล่าสุด |
จัดท่าให้โมเดลจุดสังเกต
โมเดลจุดสังเกตโพสท่าติดตามตำแหน่งจุดสังเกต 33 รายการซึ่งแสดงถึง ตำแหน่งโดยประมาณของอวัยวะต่อไปนี้
เอาต์พุตโมเดลมีทั้งพิกัดมาตรฐาน (Landmarks) และพิกัดโลก
พิกัด (WorldLandmarks) สำหรับแต่ละจุดสังเกต