通过 MediaPipe 姿势特征点标记器任务，您可以检测图像中人体的特征点，或 视频。您可以使用此任务来识别身体的关键位置、分析姿势、 以及对动作进行分类。此任务使用机器学习 (ML) 模型， 处理单一图片或视频。该任务会输出图片中的身体姿势特征点 坐标和三维世界坐标。
<ph type="x-smartling-placeholder"></ph> 试试看！
开始使用
要开始使用此任务，请按照适用于您的 目标平台这些针对具体平台的指南将向您介绍 实现，包括推荐的模型和代码示例 以及建议的配置选项：
任务详情
本部分介绍功能、输入、输出和配置 此任务的选项。
功能
- 输入图片处理 - 处理包括图片旋转、调整大小、归一化和颜色空间转换。
- 得分阈值 - 根据预测得分过滤结果。
| 任务输入 | 任务输出 |
|---|---|
| 姿势地标器接受以下数据类型之一的输入： <ph type="x-smartling-placeholder">
|
姿势特征点器输出以下结果： <ph type="x-smartling-placeholder">
|
配置选项
此任务具有以下配置选项：
| 选项名称 | 说明 | 值范围 | 默认值 |
|---|---|---|---|
running_mode |
设置任务的运行模式。有三个
模式： IMAGE：单图输入的模式。 VIDEO：视频已解码帧的模式。 LIVE_STREAM：输入流媒体直播模式 例如来自相机的数据。 在此模式下，resultListener 必须为 调用以设置监听器以接收结果 异步执行。 |
{IMAGE, VIDEO, LIVE_STREAM} |
IMAGE |
num_poses |
通过 姿势特征点。 | Integer > 0 |
1 |
min_pose_detection_confidence |
姿势检测要计算的最低置信度分数 则视为成功 | Float [0.0,1.0] |
0.5 |
min_pose_presence_confidence |
姿势存在的最低置信度分数 得分。 | Float [0.0,1.0] |
0.5 |
min_tracking_confidence |
姿势跟踪的最低置信度分数 才会被视为成功 | Float [0.0,1.0] |
0.5 |
output_segmentation_masks |
姿势特征点是否针对检测到的对象输出分割掩码 姿势。 | Boolean |
False |
result_callback |
设置结果监听器以接收地标器结果
姿势地标器处于直播模式时异步执行。
仅在跑步模式设为“LIVE_STREAM”时才能使用 |
ResultListener |
N/A |
模型
姿势特征点器使用一系列模型来预测姿势特征点。第一个 模型检测图像帧中是否存在人体， 模型在身体上定位特征点。
以下模型一起打包到可下载的模型包中：
- 姿势检测模型：检测是否存在具有几个关键姿势的身体 地标。
- 姿势地标模型：添加姿势的完整映射。模型 输出 33 个三维姿势地标的估算值。
此软件包使用卷积神经网络 类似于 MobileNetV2，并针对 设备端实时健身应用。该 BlazePose 模型使用 GHUM、 一个 3D 人体建模管道，用于估算物体的全 3D 身体姿势 以图片或视频的形式呈现。
<ph type="x-smartling-placeholder">| 模型包 | 输入形状 | 数据类型 | 模型卡片 | 版本 |
|---|---|---|---|---|
| <ph type="x-smartling-placeholder"></ph> 姿势地标器（精简版） | 姿势检测器：224 x 224 x 3 姿势地标：256 x 256 x 3 |
浮点数 16 | <ph type="x-smartling-placeholder"></ph> 信息 | <ph type="x-smartling-placeholder"></ph> 最新 |
| <ph type="x-smartling-placeholder"></ph> 姿势地标（完整） | 姿势检测器：224 x 224 x 3 姿势地标：256 x 256 x 3 |
浮点数 16 | <ph type="x-smartling-placeholder"></ph> 信息 | <ph type="x-smartling-placeholder"></ph> 最新 |
| <ph type="x-smartling-placeholder"></ph> 姿势地标器（重力） | 姿势检测器：224 x 224 x 3 姿势地标：256 x 256 x 3 |
浮点数 16 | <ph type="x-smartling-placeholder"></ph> 信息 | <ph type="x-smartling-placeholder"></ph> 最新 |
姿势地标器模型
姿势特征点模型会跟踪 33 个身体特征点位置，分别代表 以下身体部位的大致位置：
0 - nose
1 - left eye (inner)
2 - left eye
3 - left eye (outer)
4 - right eye (inner)
5 - right eye
6 - right eye (outer)
7 - left ear
8 - right ear
9 - mouth (left)
10 - mouth (right)
11 - left shoulder
12 - right shoulder
13 - left elbow
14 - right elbow
15 - left wrist
16 - right wrist
17 - left pinky
18 - right pinky
19 - left index
20 - right index
21 - left thumb
22 - right thumb
23 - left hip
24 - right hip
25 - left knee
26 - right knee
27 - left ankle
28 - right ankle
29 - left heel
30 - right heel
31 - left foot index
32 - right foot index
模型输出同时包含归一化坐标 (Landmarks) 和世界
坐标 (WorldLandmarks)。