MediaPipe 任务

MediaPipe Tasks 提供了 MediaPipe 解决方案套件的核心编程接口,包括一组库,用于以最少的代码将创新的机器学习解决方案部署到设备上。它支持多个平台,包括 Android、Web / JavaScript、Python,并且很快将支持 iOS。

易于使用、定义明确的跨平台 API
只需 5 行代码即可运行机器学习推断。您可以使用 MediaPipe Tasks 中强大且易用的解决方案 API 作为构建块来构建您自己的机器学习功能。

可自定义的解决方案
您可以利用 MediaPipe Tasks 提供的所有优势,并通过 Model Maker 使用用自己的数据构建的模型轻松对其进行自定义。例如,您可以创建一个模型来识别您使用 Model Maker GestureRecognizer API 定义的自定义手势,并使用 Tasks GestureRecognizer API 将模型部署到所需的平台。

高性能机器学习流水线
典型的设备端机器学习解决方案结合了多个机器学习和非机器学习块,会降低性能。MediaPipe Tasks 通过在 CPU、GPU 和 TPU 上实现端到端加速提供经过优化的机器学习流水线,满足实时设备端用例的需求。

支持的平台

本部分简要介绍了每个受支持平台的 MediaPipe Tasks。如需了解具体实现,请参阅每项任务的平台专属开发指南。如需了解如何设置开发环境以在平台上使用 MediaPipe Tasks,请参阅平台设置指南

Android

适用于 Android 的 MediaPipe Tasks Java API 被划分为多个软件包,这些软件包可在主要领域(包括视觉、自然语言和音频)执行机器学习任务。下面列出了您可以添加到 Android 应用开发项目以启用这些 API 的依赖项:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
    implementation 'com.google.mediapipe:tasks-text:latest.release'
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

如需了解具体的实现详情,请参阅 MediaPipe Tasks 中每个解决方案的针对具体平台的开发指南

Python

MediaPipe Tasks Python API 针对在视觉、自然语言和音频等主要领域执行机器学习任务的解决方案提供了一些主要模块。下面展示了安装命令以及可添加到 Python 开发项目以启用这些 API 的导入内容列表:

$ python -m pip install mediapipe

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio

如需了解具体的实现详情,请参阅 MediaPipe Tasks 中每个解决方案的针对具体平台的开发指南

Web 和 JavaScript

MediaPipe Tasks Web JavaScript API 分为多个软件包,可在主要领域(包括视觉、自然语言和音频)执行机器学习任务。下面列出了您可以将脚本导入添加到 Web 和 JavaScript 开发项目以启用这些 API 的脚本导入:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

如需了解具体的实现详情,请参阅 MediaPipe Tasks 中每个解决方案的针对具体平台的开发指南