คำแนะนำในการตรวจจับตำแหน่งจุดสังเกต

งานเครื่องมือจุดสังเกตของ MediaPipe Pose ช่วยให้คุณตรวจหาจุดสังเกตต่างๆ ของร่างกายมนุษย์ในรูปภาพหรือ ในการสร้างสรรค์วิดีโอ คุณสามารถใช้งานนี้เพื่อระบุตำแหน่งของร่างกายที่สำคัญ วิเคราะห์ท่าทาง และจำแนกการเคลื่อนไหว งานนี้ใช้โมเดลแมชชีนเลิร์นนิง (ML) ที่ ทำงานร่วมกับรูปภาพหรือวิดีโอรายการเดียว งานจะแสดงเนื้อหาลักษณะจุดสังเกตในรูปภาพ และพิกัดโลก 3 มิติ

ลองเลย

เริ่มต้นใช้งาน

เริ่มใช้งานนี้โดยทําตามคู่มือการติดตั้งใช้งานสําหรับ แพลตฟอร์มเป้าหมาย คำแนะนำเฉพาะแพลตฟอร์มเหล่านี้จะแนะนำคุณเกี่ยวกับข้อมูลเบื้องต้น การนำงานนี้ไปใช้ รวมถึงโมเดลที่แนะนำและตัวอย่างโค้ด พร้อมตัวเลือกการกำหนดค่าที่แนะนำ:

รายละเอียดงาน

ส่วนนี้จะอธิบายความสามารถ อินพุต เอาต์พุต และการกำหนดค่า ของงานนี้

ฟีเจอร์

  • การประมวลผลรูปภาพอินพุต - การประมวลผลประกอบด้วยการหมุนรูปภาพ การปรับขนาด การปรับให้เป็นมาตรฐาน และการแปลงพื้นที่สี
  • เกณฑ์คะแนน - กรองผลลัพธ์ตามคะแนนการคาดการณ์
อินพุตงาน เอาต์พุตของงาน
เครื่องมือจุดสังเกตของท่าทางยอมรับอินพุตของประเภทข้อมูลใดประเภทหนึ่งต่อไปนี้
  • ภาพนิ่ง
  • เฟรมวิดีโอที่ถอดรหัสแล้ว
  • ฟีดวิดีโอสด
 เครื่องมือจุดสังเกตของท่าทางจะแสดงผลลัพธ์ต่อไปนี้
  • จัดตำแหน่งจุดสังเกตในพิกัดรูปภาพมาตรฐาน
  • โพสท่าถ่ายรูปในพิกัดโลก
  • ไม่บังคับ: มาสก์การแบ่งกลุ่มสำหรับท่าทาง

ตัวเลือกการกำหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้

ชื่อตัวเลือก คำอธิบาย ช่วงค่า ค่าเริ่มต้น
running_mode ตั้งค่าโหมดการทำงานสำหรับงาน มี 3 แบบ โหมด:

รูปภาพ: โหมดสำหรับอินพุตรูปภาพเดียว

วิดีโอ: โหมดสำหรับเฟรมที่ถอดรหัสของวิดีโอ

LIVE_STREAM: โหมดสำหรับสตรีมแบบสดของอินพุต เช่น ข้อมูลจากกล้อง ในโหมดนี้ resultsListener ต้องเป็น ถูกเรียกให้ตั้งค่า Listener เพื่อรับผลลัพธ์ แบบไม่พร้อมกัน 		{IMAGE, VIDEO, LIVE_STREAM} IMAGE
num_poses จำนวนท่าทางสูงสุดที่ตรวจพบโดย เครื่องมือแนะนำท่าโพส Integer > 0 1
min_pose_detection_confidence คะแนนความเชื่อมั่นขั้นต่ำสำหรับการตรวจจับท่าทาง ถือว่าประสบความสำเร็จ Float [0.0,1.0] 0.5
min_pose_presence_confidence คะแนนความเชื่อมั่นขั้นต่ำของการแสดงท่าทาง ในการตรวจหาจุดสังเกตของท่าทาง Float [0.0,1.0] 0.5
min_tracking_confidence คะแนนความเชื่อมั่นขั้นต่ำสำหรับการติดตามท่าทาง จะถือว่าประสบความสำเร็จ Float [0.0,1.0] 0.5
output_segmentation_masks เครื่องมือจุดสังเกตของท่าทางจะแสดงมาสก์การแบ่งกลุ่มสำหรับที่ตรวจพบหรือไม่ โพสท่า Boolean False
result_callback ตั้งค่า Listener ผลลัพธ์เพื่อรับผลลัพธ์ของจุดสังเกต แบบไม่พร้อมกันเมื่อเครื่องมือจุดสังเกตท่าทางอยู่ในโหมดสตรีมแบบสด ใช้ได้เมื่อตั้งค่าโหมดวิ่งเป็น LIVE_STREAM เท่านั้น ResultListener N/A

โมเดล

เครื่องมือจุดสังเกตของท่าทางใช้ชุดโมเดลเพื่อคาดการณ์ตำแหน่งจุดสังเกต องค์ประกอบ โมเดลนี้จะตรวจจับการมีอยู่ของร่างกายมนุษย์ในเฟรมภาพ และ โมเดลหาจุดสังเกตบนร่างกาย

โมเดลต่อไปนี้ถูกจัดรวมกันเป็นแพ็กเกจโมเดลที่ดาวน์โหลดได้

  • โมเดลการตรวจจับท่าทาง: ตรวจหาการมีอยู่ของร่างกายด้วยท่าทางที่สําคัญ 2-3 ท่า จุดสังเกต
  • โมเดลเครื่องมือจุดสังเกต: เพิ่มการแมปตำแหน่งที่สมบูรณ์ โมเดล แสดงจุดสังเกตโดยประมาณของโพสท่า 3 มิติจำนวน 33 ตำแหน่ง

กลุ่มนี้ใช้โครงข่ายระบบประสาทเทียมแบบคอนโวลูชัน (Convolutional) คล้ายกับ MobileNetV2 และได้รับการเพิ่มประสิทธิภาพ สำหรับแอปพลิเคชันการออกกำลังกายแบบเรียลไทม์บนอุปกรณ์ ตัวแปรนี้ของ โมเดล BlazePose ใช้ GHUM ไปป์ไลน์การสร้างโมเดลรูปทรง 3 มิติ เพื่อประมาณท่าทางร่างกายแบบ 3 มิติทั้งหมดของ แต่ละภาพในรูปภาพหรือวิดีโอ

แพ็กเกจรุ่น รูปร่างอินพุต ประเภทข้อมูล การ์ดโมเดล เวอร์ชัน
โพสท่าถ่ายรูปที่มีชื่อเสียง (Lite) ตัวตรวจจับท่าทาง: 224 x 224 x 3
โพสท่าจุดสังเกต: 256 x 256 x 3 		ทศนิยม 16 ข้อมูล ล่าสุด
โพสท่าใช้จุดสังเกต (ราคาเต็ม) ตัวตรวจจับท่าทาง: 224 x 224 x 3
โพสท่าจุดสังเกต: 256 x 256 x 3 		ทศนิยม 16 ข้อมูล ล่าสุด
โพสท่าถ่ายรูปที่มีชื่อเสียง (หนัก) ตัวตรวจจับท่าทาง: 224 x 224 x 3
โพสท่าจุดสังเกต: 256 x 256 x 3 		ทศนิยม 16 ข้อมูล ล่าสุด

จัดท่าให้โมเดลจุดสังเกต

โมเดลจุดสังเกตโพสท่าติดตามตำแหน่งจุดสังเกต 33 รายการซึ่งแสดงถึง ตำแหน่งโดยประมาณของอวัยวะต่อไปนี้

0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index

เอาต์พุตโมเดลมีทั้งพิกัดมาตรฐาน (Landmarks) และพิกัดโลก พิกัด (WorldLandmarks) สำหรับแต่ละจุดสังเกต