MediaPipe 解决方案指南

MediaPipe Solutions 提供了一套库和工具,可帮助您在您的应用中快速应用人工智能 (AI) 和机器学习 (ML) 技术。您可以立即将这些解决方案插入到您的应用中,根据需要对其进行自定义,并在多个开发平台上使用。MediaPipe Solutions 是 MediaPipe 开源项目的一部分,因此您可以进一步自定义解决方案代码以满足您的应用需求。MediaPipe 解决方案套件包括以下内容:

MediaPipe 解决方案、Studio 和 Model Maker 的示意图

以下库和资源提供了每个 MediaPipe 解决方案的核心功能:

  • MediaPipe Tasks:用于部署解决方案的跨平台 API 和库。了解详情
  • MediaPipe 模型:预训练、可直接运行的模型,可与每个解决方案搭配使用。

借助以下工具,您可以自定义和评估解决方案:

  • MediaPipe Model Maker:为使用你的数据的解决方案自定义模型。了解详情
  • MediaPipe Studio:在浏览器中直观呈现、评估解决方案并对其进行基准测试。了解详情

可用的解决方案

MediaPipe 解决方案适用于多个平台。每个解决方案都包含一个或多个模型,您也可以为某些解决方案自定义模型。以下列表显示了适用于每个受支持平台的解决方案,以及您是否可以使用 Model Maker 自定义模型:

解决方案 Android 网站 Python iOS 自定义模型
LLM Inference API 实心圆 实心圆 实心圆 实心圆
对象检测 实心圆 实心圆 实心圆 实心圆 实心圆
图片分类 实心圆 实心圆 实心圆 实心圆 实心圆
图像分割 实心圆 实心圆 实心圆
交互式分割 实心圆 实心圆 实心圆
手部特征点检测 实心圆 实心圆 实心圆 实心圆
手势识别 实心圆 实心圆 实心圆 实心圆 实心圆
图片嵌入 实心圆 实心圆 实心圆
人脸检测 实心圆 实心圆 实心圆 实心圆
人脸特征点检测 实心圆 实心圆 实心圆
人脸风格化 实心圆 实心圆 实心圆 实心圆
姿势特征点检测 实心圆 实心圆 实心圆
图片生成 实心圆 实心圆
文本分类 实心圆 实心圆 实心圆 实心圆 实心圆
文本嵌入 实心圆 实心圆 实心圆
语言检测器 实心圆 实心圆 实心圆
音频分类 实心圆 实心圆 实心圆

开始使用

你可以选择左侧导航树中列出的任意任务(包括vision文本音频任务)来开始使用 MediaPipe 解决方案。 如果您在设置与 MediaPipe Tasks 搭配使用的开发环境方面需要帮助,请查看 AndroidWeb 应用Python 的设置指南。

旧版解决方案

自 2023 年 3 月 1 日起,我们已停止支持下列 MediaPipe 旧版解决方案。所有其他 MediaPipe 旧版解决方案都将升级到新的 MediaPipe 解决方案。如需了解详情,请参阅下面的列表。所有 MediaPipe 旧版解决方案的代码库和预构建二进制文件将继续按原样提供。

旧版解决方案 状态 新的 MediaPipe 解决方案
人脸检测(信息 已升级 人脸检测
人脸网格(信息 已升级 人脸特征点检测
虹膜(信息 已升级 人脸特征点检测
手(信息 已升级 手部特征点检测
姿势(信息 已升级 姿势特征点检测
整体(信息 升级 整体特征点检测
自拍照分割(信息 已升级 图片分割
头发分割(信息 已升级 图片分割
对象检测(信息 已升级 对象检测
方框跟踪(信息 已终止支持
即时动作跟踪(信息 已终止支持
Objectron(信息 已终止支持
KNIFT(信息 已终止支持
自动翻转(信息 已终止支持
MediaSequence(信息 已终止支持
YouTube 800 万(信息 已终止支持