Руководство по распознаванию лиц

Задача MediaPipe Face Detector позволяет обнаруживать лица на изображениях или видео. Вы можете использовать эту задачу для определения местоположения лиц и черт лица в кадре. В задаче используется модель машинного обучения (ML), которая работает как с отдельными изображениями, так и с непрерывным потоком изображений. Задача выдает координаты лица, а также следующие ключевые точки лица: левый глаз, правый глаз, кончик носа, рот, трагикон левого глаза и трагикон правого глаза.

Попробуйте! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства, специфичные для каждой платформы, помогут вам выполнить базовую реализацию этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации:

• Android — Пример кода — Руководство
• Python — Пример кода — Руководство
• Веб -разработка - Пример кода - Руководство
• iOS — Пример кода — Руководство

Детали задачи

В этом разделе описываются возможности, входные и выходные данные, а также параметры конфигурации данной задачи.

Функции

• Обработка входного изображения — обработка включает в себя поворот изображения, изменение размера, нормализацию и преобразование в цветовое пространство.
• Пороговое значение оценки — фильтрация результатов на основе оценок прогноза.

Параметры конфигурации

Данная задача имеет следующие параметры конфигурации:

Модели

Модели распознавания лиц могут различаться в зависимости от предполагаемого применения, например, для обнаружения на коротких и дальних расстояниях. Как правило, модели также учитывают компромисс между производительностью, точностью, разрешением и требованиями к ресурсам, а в некоторых случаях включают дополнительные функции.

Модели, перечисленные в этом разделе, являются вариантами BlazeFace, легковесного и точного детектора лиц, оптимизированного для выполнения операций на мобильных графических процессорах. Модели BlazeFace подходят для таких приложений, как оценка 3D-ключевых точек лица, классификация выражений лица и сегментация областей лица. BlazeFace использует легковесную сеть извлечения признаков, аналогичную MobileNetV1/V2 .

BlazeFace (ближний бой)

Легковесная модель для обнаружения одного или нескольких лиц на селфи-подобных изображениях, полученных с помощью камеры смартфона или веб-камеры. Модель оптимизирована для изображений, полученных с фронтальной камеры телефона на небольшом расстоянии. Архитектура модели использует метод сверточной нейронной сети Single Shot Detector (SSD) с пользовательским кодировщиком. Для получения дополнительной информации см. исследовательскую статью о Single Shot MultiBox Detector .

BlazeFace (полный диапазон)

Относительно легкая модель для обнаружения одного или нескольких лиц на изображениях, полученных с камеры смартфона или веб-камеры. Модель оптимизирована для изображений с полным диапазоном фокусных расстояний, например, снятых с помощью задней камеры телефона. Архитектура модели использует метод, аналогичный сверточной сети CenterNet с пользовательским кодировщиком.

BlazeFace Sparse (полный диапазон)

Облегченная версия стандартной полнодиапазонной модели BlazeFace, примерно на 60% меньше по размеру. Модель оптимизирована для полнодиапазонных изображений, например, тех, что получаются при съемке с помощью задней камеры телефона. В архитектуре модели используется технология, аналогичная сверточной сети CenterNet с пользовательским кодировщиком.

Контрольные показатели задач

Ниже представлены результаты тестирования производительности всего конвейера на основе предварительно обученных моделей. Результат по задержке — это средняя задержка на Pixel 6 с использованием CPU/GPU.