Руководство по внедрению изображений

Задача MediaPipe Image Embedder позволяет создавать числовое представление изображения, что полезно при выполнении различных задач изображения на основе машинного обучения. Эта функция часто используется для сравнения сходства двух изображений с использованием методов математического сравнения, таких как косинусное сходство. Эта задача оперирует данными изображения с моделью машинного обучения (ML) в виде статических данных или непрерывного потока и выводит числовое представление данных изображения в виде списка многомерных векторов признаков, также известных как векторы внедрения, в плавающем формате. -точечная или квантованная форма.

Попробуй это! arrow_forward

Начать

Начните использовать эту задачу, следуя одному из этих руководств по реализации для вашей целевой платформы. Эти руководства для конкретных платформ покажут вам базовую реализацию этой задачи с использованием рекомендуемой модели и предоставят примеры кода с рекомендуемыми параметрами конфигурации:

• Android – Пример кода – Руководство
• Python — Пример кода — Руководство
• Интернет — Пример кода — Руководство

Подробности задачи

В этом разделе описаны возможности, входы, выходы и параметры конфигурации этой задачи.

Функции

• Обработка входного изображения . Обработка включает в себя поворот изображения, изменение размера, нормализацию и преобразование цветового пространства.
• Область интереса — выполняет встраивание области изображения, а не всего изображения.
• Встраивание вычисления сходства — встроенная служебная функция для вычисления косинусного сходства между двумя векторами признаков.
• Квантование — поддерживает скалярное квантование векторов признаков.

Варианты конфигурации

Эта задача имеет следующие параметры конфигурации:

Модели

Image Embedder требует, чтобы модель внедрения изображений была загружена и сохранена в каталоге вашего проекта. При разработке этой задачи начните с рекомендуемой по умолчанию модели для вашей целевой платформы. Другие доступные модели обычно обеспечивают компромисс между производительностью, точностью, разрешением и требованиями к ресурсам, а в некоторых случаях включают дополнительные функции.

Модель MobileNetV3

В этом семействе моделей используется архитектура MobileNet V3 , и оно было обучено с использованием данных ImageNet . Эта модель использует множитель 0,75 для глубины (количества объектов) в сверточных слоях для настройки компромисса между точностью и задержкой. Кроме того, MobileNet V3 поставляется в двух размерах: маленьком и большом, что позволяет адаптировать сеть к сценариям использования с низким или высоким уровнем ресурсов.

Тесты задач

Вот тесты задач для всего конвейера, основанные на предварительно обученных моделях, описанных выше. Результатом задержки является средняя задержка на Pixel 6 с использованием ЦП/ГП.