Руководство по сегментации изображений

Задача сегментации изображения MediaPipe позволяет разделить изображения на регионы на основе предопределенных категорий. Вы можете использовать эту функциональность для определения конкретных объектов или текстур, а затем применить визуальные эффекты, такие как размытие фона. Эта задача включает в себя несколько моделей, специально обученных для сегментирования людей, и их функции в данных изображения, включая:

• Человек и фон
• Только волосы человека
• Волосы человека, лицо, кожа, одежда и аксессуары

Эта задача работает на данных изображения с моделью машинного обучения (ML) с отдельными изображениями или непрерывным видеопотоком. Он выводит список сегментированных областей, представляющих объекты или области на изображении, в зависимости от выбранной вами модели .

Попробуй это! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации:

• Android - Code example - Guide
• Python - Руководство по примерам кода
• Интернет - пример кода - Руководство

Подробности задачи

В этом разделе описываются возможности, входы, выходы и параметры конфигурации этой задачи.

Функции

• Обработка изображений - обработка включает в себя вращение изображения, изменение размера, нормализацию и преобразование цветового пространства.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Модели

Сегментер изображения можно использовать с более чем одной моделью ML. Большинство из следующих моделей сегментации созданы и обучены для выполнения сегментации с изображениями людей. Тем не менее, модель Deeplab-V3 построена как сегментер изображений общего назначения. Выберите модель, которая лучше всего подходит для вашего приложения.

Модель сегментации селфи

Эта модель может сегментировать портрет человека и может использоваться для замены или изменения фона на изображении. Модель выводит две категории: фон с индексом 0 и человек с индексом 1. Эта модель имеет версии с различными формами ввода, включая квадратную версию и альбомную версию, которая может быть более эффективной для приложений, где входные данные всегда имеют такую ​​форму, например, для видеозвонков. .

Модель сегментации волос

Эта модель снимает изображение человека, находит волосы на голове и выводит карту сегментации изображений для своих волос. Вы можете использовать эту модель для повторного приготовления волос или нанесения других эффектов волос. Модель выводит следующие категории сегментации:

0 - background
1 - hair

Модель сегментации мультиклассов

Эта модель берет изображение человека, находит области для различных областей, таких как волосы, кожа и одежда, и выводит карту сегментации изображения для этих элементов. Вы можете использовать эту модель для применения различных эффектов для людей в изображениях или видео. Модель выводит следующие категории сегментации:

0 - background
1 - hair
2 - body-skin
3 - face-skin
4 - clothes
5 - others (accessories)

Модель Deeplab-V3

Эта модель идентифицирует сегменты для ряда категорий, включая фон, человека, кошку, собаку и горшечное растение. Модель использует Atrous Spatial Pyramid Plase, чтобы захватить информацию о более длительном диапазоне. Для получения дополнительной информации см. Deeplab-V3 .

Задача

Вот задача задачи для всего трубопровода на основе вышеуказанных предварительно обученных моделей. Результатом задержки является средняя задержка на Pixel 6 с использованием процессора / графического процессора.