Руководство по обнаружению объектов

Задача «Детектор объектов MediaPipe» позволяет обнаруживать наличие и расположение объектов нескольких классов на изображениях или видео. Например, детектор объектов может обнаружить на изображении собак. Эта задача работает с данными изображения с помощью модели машинного обучения (ML), принимая статические данные или непрерывный видеопоток в качестве входных данных и выводя список результатов обнаружения. Каждый результат обнаружения представляет собой объект, который появляется на изображении или видео.

Попробуй это! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для платформы, над которой вы работаете:

• Android – Пример кода – Руководство
• Python — Пример кода — Руководство
• Интернет — Пример кода — Руководство
• iOS – Пример кода – Руководство

В этих руководствах для конкретных платформ описана базовая реализация этой задачи, включая рекомендуемую модель и пример кода с рекомендуемыми параметрами конфигурации.

Подробности задачи

В этом разделе описываются возможности, входные и выходные данные этой задачи.

Функции

• Обработка входного изображения . Обработка включает в себя поворот изображения, изменение размера, нормализацию и преобразование цветового пространства.
• Язык карты меток — установите язык, используемый для отображаемых имен.
• Порог оценки — фильтрация результатов на основе оценок прогноза.
• Обнаружение Top-k — фильтрация результатов обнаружения чисел.
• Пометить список разрешенных и список запрещенных — укажите обнаруженные категории.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Модели

API-интерфейс детектора объектов требует, чтобы модель обнаружения объектов была загружена и сохранена в каталоге вашего проекта. Если у вас еще нет модели, начните с рекомендуемой по умолчанию модели. Другие модели, представленные в этом разделе, обеспечивают компромисс между задержкой и точностью.

Модель EfficientDet-Lite0 (рекомендуется)

Модель EfficientDet-Lite0 использует магистраль EfficientNet-Lite0 с входным размером 320x320 и функциональной сетью BiFPN. Модель была обучена с использованием набора данных COCO — крупномасштабного набора данных для обнаружения объектов, который содержит 1,5 миллиона экземпляров объектов и 80 меток объектов. См. полный список поддерживаемых ярлыков. EfficientDet-Lite0 доступен как int8, float16 или float32. Рекомендуется использовать эту модель, поскольку она обеспечивает баланс между задержкой и точностью. Он одновременно точный и достаточно легкий для многих случаев использования.

Модель EfficientDet-Lite2

Модель EfficientDet-Lite2 использует магистраль EfficientNet-Lite2 с входным размером 448x448 и функциональной сетью BiFPN. Модель была обучена с использованием набора данных COCO — крупномасштабного набора данных для обнаружения объектов, который содержит 1,5 миллиона экземпляров объектов и 80 меток объектов. См. полный список поддерживаемых ярлыков. EfficientDet-Lite2 доступен в виде модели int8, float16 или float32. Эта модель, как правило, более точная, чем EfficientDet-Lite0, но также медленнее и требует больше памяти. Эта модель подходит для случаев использования, где точность имеет больший приоритет по сравнению со скоростью и размером.

Модель SSD MobileNetV2

Модель SSD MobileNetV2 использует магистраль MobileNetV2 с входным размером 256x256 и функциональной сетью SSD. Модель была обучена с использованием набора данных COCO — крупномасштабного набора данных для обнаружения объектов, который содержит 1,5 миллиона экземпляров объектов и 80 меток объектов. См. полный список поддерживаемых ярлыков. SSD MobileNetV2 доступен в моделях int8 и float 32. Эта модель быстрее и легче, чем EfficientDet-Lite0, но в целом менее точна. Эта модель подходит для случаев использования, требующих быстрой и легкой модели, жертвующей некоторой точностью.

Требования к модели и метаданные

В этом разделе описаны требования к пользовательским моделям, если вы решите создать модель для использования в этой задаче. Пользовательские модели должны быть в формате TensorFlow Lite и включать метаданные, описывающие рабочие параметры модели.

Требования к дизайну

Требования к метаданным

Тесты задач

Вот тесты задач для вышеупомянутых предварительно обученных моделей. Результатом задержки является средняя задержка на Pixel 6 с использованием ЦП/ГП.