MediaPipe Tasks предоставляет основной программный интерфейс пакета MediaPipe Solutions, включая набор библиотек для развертывания инновационных решений машинного обучения на устройствах с минимальным написанием кода. Он поддерживает несколько платформ, включая Android, Web/JavaScript, Python, а поддержка iOS появится в ближайшее время.
Простые в использовании, четко определенные кроссплатформенные API.
Запустите ML Inferences всего с помощью 5 строк кода. Используйте мощные и простые в использовании API-интерфейсы решений в задачах MediaPipe в качестве строительных блоков для создания собственных функций машинного обучения.
Индивидуальные решения
Вы можете использовать все преимущества, которые предоставляет MediaPipe Tasks, и легко настраивать его, используя модели, созданные на основе ваших собственных данных с помощью Model Maker . Например, вы можете создать модель, которая распознает пользовательские жесты, определенные вами с помощью Model Maker GestureRecouncer API , и развернуть модель на нужных платформах с помощью Tasks GestureRecouncer API .
Высокопроизводительные конвейеры машинного обучения
Типичные решения машинного обучения на устройстве объединяют несколько блоков машинного обучения и других блоков, что снижает производительность. MediaPipe Tasks предоставляет оптимизированные конвейеры машинного обучения со сквозным ускорением на процессоре, графическом процессоре и TPU для удовлетворения потребностей сценариев использования на устройстве в режиме реального времени.
Поддерживаемые платформы
В этом разделе представлен обзор задач MediaPipe для каждой поддерживаемой платформы. Конкретные реализации см. в руководствах по разработке для каждой платформы для каждой задачи. Чтобы получить помощь в настройке среды разработки для использования задач MediaPipe на платформе, ознакомьтесь с руководствами по настройке платформы.
Андроид
Java API MediaPipe Tasks для Android разделен на пакеты, которые выполняют задачи машинного обучения в основных областях, включая зрение, естественный язык и аудио. Ниже приведен список зависимостей, которые вы можете добавить в свой проект разработки приложений для Android, чтобы включить эти API:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
implementation 'com.google.mediapipe:tasks-text:latest.release'
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
Подробные сведения о реализации см. в руководствах по разработке для каждой платформы для каждого решения в разделе «Задачи MediaPipe».
Питон
API- интерфейс MediaPipe Tasks Python имеет несколько основных модулей для решений, которые выполняют задачи машинного обучения в основных областях, включая зрение, естественный язык и аудио. Ниже показана команда установки и список элементов импорта, которые вы можете добавить в свой проект разработки Python, чтобы включить эти API:
$ python -m pip install mediapipe
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio
Подробные сведения о реализации см. в руководствах по разработке для каждой платформы для каждого решения в разделе «Задачи MediaPipe».
Интернет и JavaScript
API-интерфейс MediaPipe Tasks Web JavaScript разделен на пакеты, которые выполняют задачи машинного обучения в основных областях, включая зрение, естественный язык и аудио. Ниже приведен список импортируемых скриптов, которые вы можете добавить в свой проект разработки веб-сайтов и JavaScript, чтобы включить эти API:
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
crossorigin="anonymous"></script>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Подробные сведения о реализации см. в руководствах по разработке для каждой платформы для каждого решения в разделе «Задачи MediaPipe».