Руководство по решениям MediaPipe

MediaPipe Solutions предоставляет набор библиотек и инструментов для быстрого применения методов искусственного интеллекта (ИИ) и машинного обучения (МО) в ваших приложениях. Вы можете мгновенно внедрять эти решения в свои приложения, настраивать их под свои нужды и использовать на различных платформах разработки. MediaPipe Solutions является частью проекта MediaPipe с открытым исходным кодом , поэтому вы можете дополнительно настраивать код решений в соответствии с потребностями вашего приложения. Набор MediaPipe Solutions включает в себя следующее:

MediaPipe Solutions, Studio и Model Maker

Эти библиотеки и ресурсы обеспечивают основные функциональные возможности каждого решения MediaPipe:

  • MediaPipe Tasks : кроссплатформенные API и библиотеки для развертывания решений. Подробнее
  • Модели MediaPipe : предварительно обученные, готовые к запуску модели для использования с каждым решением.

Эти инструменты позволяют вам настраивать и оценивать решения:

  • MediaPipe Model Maker : создавайте модели для решений на основе ваших данных. Подробнее
  • MediaPipe Studio : визуализируйте, оценивайте и тестируйте решения в браузере. Подробнее

Доступные решения

Решения MediaPipe доступны на нескольких платформах. Каждое решение включает в себя одну или несколько моделей, и для некоторых решений можно настроить модели. В следующем списке показаны решения, доступные для каждой поддерживаемой платформы, и указано, можно ли использовать Model Maker для настройки модели:

Решение Андроид Интернет Питон iOS Настроить модель
API вывода LLM заполненный кругзаполненный кругзаполненный кругзаполненный круг
Обнаружение объектов заполненный кругзаполненный кругзаполненный кругзаполненный кругзаполненный круг
Классификация изображений заполненный кругзаполненный кругзаполненный кругзаполненный кругзаполненный круг
Сегментация изображения заполненный кругзаполненный кругзаполненный круг
Интерактивная сегментация заполненный кругзаполненный кругзаполненный круг
Распознавание ориентиров руки заполненный кругзаполненный кругзаполненный кругзаполненный круг
Распознавание жестов заполненный кругзаполненный кругзаполненный кругзаполненный кругзаполненный круг
Встраивание изображения заполненный кругзаполненный кругзаполненный круг
Распознавание лиц заполненный кругзаполненный кругзаполненный кругзаполненный круг
Распознавание ориентиров по лицу заполненный кругзаполненный кругзаполненный круг
Определение ориентиров позы заполненный кругзаполненный кругзаполненный круг
Генерация изображений заполненный кругзаполненный круг
Классификация текста заполненный кругзаполненный кругзаполненный кругзаполненный кругзаполненный круг
Встраивание текста заполненный кругзаполненный кругзаполненный круг
Детектор языка заполненный кругзаполненный кругзаполненный круг
Аудио классификация заполненный кругзаполненный кругзаполненный круг

Начать

Вы можете начать работу с MediaPipe Solutions, выбрав любую из задач, перечисленных в левом навигационном дереве, включая задачи обработки зрения , текста и звука . Если вам нужна помощь в настройке среды разработки для использования с MediaPipe Tasks, ознакомьтесь с руководствами по настройке для Android , веб-приложений и Python .

Устаревшие решения

Мы прекратили поддержку перечисленных ниже устаревших решений MediaPipe с 1 марта 2023 года. Все остальные устаревшие решения MediaPipe будут обновлены до нового решения MediaPipe. Подробности см. в списке ниже. Репозиторий кода и готовые двоичные файлы для всех устаревших решений MediaPipe будут по-прежнему предоставляться «как есть».

Устаревшее решение Статус Новое решение MediaPipe
Распознавание лиц ( информация ) Модернизированный Распознавание лиц
Face Mesh ( информация ) Модернизированный Распознавание ориентиров по лицу
Ирис ( информация ) Модернизированный Распознавание ориентиров по лицу
Руки ( информация ) Модернизированный Распознавание ориентиров руки
Поза ( информация ) Модернизированный Определение ориентиров позы
Целостный ( информация ) Обновление Целостное обнаружение ориентиров
Сегментация селфи ( информация ) Модернизированный Сегментация изображения
Сегментация волос ( информация ) Модернизированный Сегментация изображения
Обнаружение объектов ( информация ) Модернизированный Обнаружение объектов
Отслеживание посылки ( информация ) Поддержка прекращена
Мгновенное отслеживание движения ( информация ) Поддержка прекращена
Objectron ( информация ) Поддержка прекращена
KNIFT ( информация ) Поддержка прекращена
AutoFlip ( информация ) Поддержка прекращена
MediaSequence ( информация ) Поддержка прекращена
YouTube 8M ( информация ) Поддержка прекращена