Задачи MediaPipe

MediaPipe Tasks предоставляет основной программный интерфейс пакета MediaPipe Solutions, включая набор библиотек для развертывания инновационных решений машинного обучения на устройствах с минимальным написанием кода. Он поддерживает несколько платформ, включая Android, Web/JavaScript, Python, а поддержка iOS появится в ближайшее время.

Простые в использовании, четко определенные кроссплатформенные API.
Запустите ML Inferences всего с помощью 5 строк кода. Используйте мощные и простые в использовании API-интерфейсы решений в задачах MediaPipe в качестве строительных блоков для создания собственных функций машинного обучения.

Индивидуальные решения
Вы можете использовать все преимущества, которые предоставляет MediaPipe Tasks, и легко настраивать его, используя модели, созданные на основе ваших собственных данных с помощью Model Maker . Например, вы можете создать модель, которая распознает пользовательские жесты, которые вы определили, с помощью Model Maker GestureRecouncer API , и развернуть модель на нужных платформах с помощью Tasks GestureRecouncer API .

Высокопроизводительные конвейеры машинного обучения
Типичные решения машинного обучения на устройстве объединяют несколько блоков машинного обучения и других блоков, что снижает производительность. MediaPipe Tasks предоставляет оптимизированные конвейеры машинного обучения со сквозным ускорением на процессоре, графическом процессоре и TPU для удовлетворения потребностей сценариев использования на устройстве в режиме реального времени.

Поддерживаемые платформы

В этом разделе представлен обзор задач MediaPipe для каждой поддерживаемой платформы. Конкретные реализации см. в руководствах по разработке для каждой платформы для каждой задачи. Чтобы получить помощь в настройке среды разработки для использования задач MediaPipe на платформе, ознакомьтесь с руководствами по настройке платформы.

Андроид

Java API MediaPipe Tasks для Android разделен на пакеты, которые выполняют задачи машинного обучения в основных областях, включая зрение, естественный язык и аудио. Ниже приведен список зависимостей, которые вы можете добавить в свой проект разработки приложений для Android, чтобы включить эти API:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
    implementation 'com.google.mediapipe:tasks-text:latest.release'
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Подробные сведения о реализации см. в руководствах по разработке для каждой платформы для каждого решения в разделе «Задачи MediaPipe».

Питон

API- интерфейс MediaPipe Tasks Python имеет несколько основных модулей для решений, которые выполняют задачи машинного обучения в основных областях, включая зрение, естественный язык и аудио. Ниже показана команда установки и список элементов импорта, которые вы можете добавить в свой проект разработки Python, чтобы включить эти API:

$ python -m pip install mediapipe

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio

Интернет и JavaScript

API-интерфейс MediaPipe Tasks Web JavaScript разделен на пакеты, которые выполняют задачи машинного обучения в основных областях, включая зрение, естественный язык и аудио. Ниже приведен список импортируемых скриптов, которые вы можете добавить в свой проект разработки веб-сайтов и JavaScript, чтобы включить эти API:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>