Задача MediaPipe Pose Landmarker позволяет обнаруживать ориентиры человеческих тел на изображении или видео. Вы можете использовать это задание для определения ключевых положений тела, анализа позы и классификации движений. В этой задаче используются модели машинного обучения (ML), которые работают с отдельными изображениями или видео. Задача выводит ориентиры позы тела в координатах изображения и в трехмерных мировых координатах.
Начать
Начните использовать эту задачу, следуя руководству по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации:
- Android – Пример кода – Руководство
- Python — Пример кода — Руководство
- Интернет — Пример кода — Руководство
Подробности задачи
В этом разделе описаны возможности, входы, выходы и параметры конфигурации этой задачи.
Функции
- Обработка входного изображения . Обработка включает в себя поворот изображения, изменение размера, нормализацию и преобразование цветового пространства.
- Порог оценки — фильтрация результатов на основе оценок прогноза.
Входные данные задачи | Результаты задачи |
---|---|
Pose Landmarker принимает входные данные одного из следующих типов:
| Pose Landmarker выдает следующие результаты:
|
Варианты конфигурации
Эта задача имеет следующие параметры конфигурации:
Название опции | Описание | Диапазон значений | Значение по умолчанию |
---|---|---|---|
running_mode | Устанавливает режим выполнения задачи. Есть три режима: ИЗОБРАЖЕНИЕ: Режим для ввода одного изображения. ВИДЕО: Режим декодированных кадров видео. LIVE_STREAM: режим прямой трансляции входных данных, например с камеры. В этом режиме необходимо вызвать resultListener, чтобы настроить прослушиватель на асинхронное получение результатов. | { IMAGE, VIDEO, LIVE_STREAM } | IMAGE |
num_poses | Максимальное количество поз, которые может обнаружить ориентир позы. | Integer > 0 | 1 |
min_pose_detection_confidence | Минимальный показатель достоверности, позволяющий считать обнаружение позы успешным. | Float [0.0,1.0] | 0.5 |
min_pose_presence_confidence | Минимальный показатель достоверности оценки присутствия позы при обнаружении ориентира позы. | Float [0.0,1.0] | 0.5 |
min_tracking_confidence | Минимальный показатель достоверности, позволяющий отслеживанию позы считаться успешным. | Float [0.0,1.0] | 0.5 |
output_segmentation_masks | Выводит ли Pose Landmarker маску сегментации для обнаруженной позы. | Boolean | False |
result_callback | Настраивает прослушиватель результатов на асинхронное получение результатов ориентира, когда Pose Landmarker находится в режиме прямой трансляции. Может использоваться только в том случае, если для режима работы установлено значение LIVE_STREAM | ResultListener | N/A |
Модели
Pose Landmarker использует ряд моделей для прогнозирования позы ориентиров. Первая модель обнаруживает присутствие человеческих тел в кадре изображения, а вторая модель находит ориентиры на телах.
Следующие модели объединены в загружаемый комплект моделей:
- Модель определения позы : обнаруживает присутствие тел по нескольким ключевым ориентирам позы.
- Модель ориентира позы : добавляет полное отображение позы. Модель выводит оценку 33 трехмерных ориентиров позы.
Этот пакет использует сверточную нейронную сеть, аналогичную MobileNetV2, и оптимизирован для фитнес-приложений на устройстве, работающих в режиме реального времени. Этот вариант модели BlazePose использует GHUM , конвейер трехмерного моделирования формы человека, для оценки полной трехмерной позы тела человека на изображениях или видео.
Модельный комплект | Введите форму | Тип данных | Модельные карты | Версии |
---|---|---|---|---|
Поза ориентира (облегченная) | Детектор позы: 224 x 224 x 3 Ориентир позы: 256 x 256 x 3 | поплавок 16 | информация | Последний |
Поза ориентира (Полная версия) | Детектор позы: 224 x 224 x 3 Ориентир позы: 256 x 256 x 3 | поплавок 16 | информация | Последний |
Поза ориентира (тяжелая) | Детектор позы: 224 x 224 x 3 Ориентир позы: 256 x 256 x 3 | поплавок 16 | информация | Последний |