Руководство по распознаванию лиц

Задача MediaPipe Face Detector позволяет обнаруживать лица на изображении или видео. Эту задачу можно использовать для поиска лиц и черт лица в кадре. В этой задаче используется модель машинного обучения (ML), которая работает с отдельными изображениями или непрерывным потоком изображений. Задача выводит расположение лица, а также следующие ключевые точки лица: левый глаз, правый глаз, кончик носа, рот, трагиция левого глаза и трагиция правого глаза.

Попробуй это! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации:

• Android – Пример кода – Руководство
• Python — Пример кода — Руководство
• Интернет — Пример кода — Руководство
• iOS – Пример кода – Руководство

Подробности задачи

В этом разделе описаны возможности, входы, выходы и параметры конфигурации этой задачи.

Функции

• Обработка входного изображения . Обработка включает в себя поворот изображения, изменение размера, нормализацию и преобразование цветового пространства.
• Порог оценки — фильтрация результатов на основе оценок прогноза.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Модели

Модели обнаружения лиц могут различаться в зависимости от предполагаемого варианта использования, например, для обнаружения на ближнем и дальнем расстоянии. Модели также обычно обеспечивают компромисс между производительностью, точностью, разрешением и требованиями к ресурсам, а в некоторых случаях включают дополнительные функции.

Модели, перечисленные в этом разделе, представляют собой варианты BlazeFace, легкого и точного детектора лиц, оптимизированного для вывода данных с помощью мобильных графических процессоров. Модели BlazeFace подходят для таких приложений, как трехмерная оценка ключевых точек лица, классификация выражений и сегментация областей лица. BlazeFace использует облегченную сеть извлечения признаков, аналогичную MobileNetV1/V2 .

BlazeFace (ближняя дистанция)

Легкая модель для обнаружения одного или нескольких лиц на изображениях, похожих на селфи, с камеры смартфона или веб-камеры. Модель оптимизирована для съемки изображений с фронтальной камеры телефона на близком расстоянии. Архитектура модели использует метод сверточной сети Single Shot Detector (SSD) с пользовательским кодировщиком. Для получения дополнительной информации см. исследовательскую работу по одноразовому детектору MultiBox .

BlazeFace (полный диапазон)

Относительно легкая модель для обнаружения одного или нескольких лиц на изображениях с камеры смартфона или веб-камеры. Модель оптимизирована для полнодиапазонных изображений, например, снятых с помощью задней камеры телефона. В архитектуре модели используется метод, аналогичный сверточной сети CenterNet с пользовательским кодировщиком.

BlazeFace Sparse (полный диапазон)

Облегченная версия обычной полнофункциональной модели BlazeFace, примерно на 60 % меньше по размеру. Модель оптимизирована для полнодиапазонных изображений, например, снятых с помощью задней камеры телефона. В архитектуре модели используется метод, аналогичный сверточной сети CenterNet с пользовательским кодировщиком.

Тесты задач

Вот тесты задач для всего конвейера, основанные на предварительно обученных моделях, описанных выше. Результатом задержки является средняя задержка на Pixel 6 с использованием ЦП/ГП.