MediaPipe 解决方案指南

MediaPipe Solutions 提供了一套库和工具,可帮助您在应用中快速应用人工智能 (AI) 和机器学习 (ML) 技术。您可以立即将这些解决方案插入到应用中,根据自己的需求进行自定义,并在多个开发平台上使用它们。MediaPipe Solutions 是 MediaPipe 开源项目的一部分,因此您可以进一步自定义解决方案代码,以满足您的应用需求。MediaPipe Solutions 套件包括以下内容:

MediaPipe Solutions、Studio 和 Model Maker

这些库和资源为每个 MediaPipe 解决方案提供核心功能:

  • MediaPipe Tasks:用于部署解决方案的跨平台 API 和库。了解详情
  • MediaPipe 模型:预训练的即用型模型,可用于各种解决方案。

借助这些工具,您可以自定义和评估解决方案:

  • MediaPipe Model Maker:使用您的数据为解决方案自定义模型。了解详情
  • MediaPipe Studio:在浏览器中直观呈现、评估和对比解决方案。了解详情

可用的解决方案

MediaPipe 解决方案可在多个平台上使用。每种解决方案都包含一个或多个模型,您还可以为某些解决方案自定义模型。下表显示了每种受支持的平台可用的解决方案,以及是否可以使用 Model Maker 自定义模型:

解决方案 Android Web Python iOS 自定义模型
LLM Inference API 实心圆 实心圆 实心圆 实心圆
对象检测 实心圆 实心圆 实心圆 实心圆 实心圆
图片分类 实心圆 实心圆 实心圆 实心圆 实心圆
图片分割 实心圆 实心圆 实心圆
交互式分割 实心圆 实心圆 实心圆
手部地标检测 实心圆 实心圆 实心圆 实心圆
手势识别 实心圆 实心圆 实心圆 实心圆 实心圆
图片嵌入 实心圆 实心圆 实心圆
人脸检测 实心圆 实心圆 实心圆 实心圆
人脸特征点检测 实心圆 实心圆 实心圆
姿势地标检测 实心圆 实心圆 实心圆
图片生成 实心圆 实心圆
文本分类 实心圆 实心圆 实心圆 实心圆 实心圆
文本嵌入 实心圆 实心圆 实心圆
语言检测器 实心圆 实心圆 实心圆
音频分类 实心圆 实心圆 实心圆

开始使用

您可以选择左侧导航树中列出的任何任务(包括视觉文本音频任务)来开始使用 MediaPipe Solutions。 如果您需要有关设置开发环境以搭配 MediaPipe Tasks 使用的帮助,请查看适用于 AndroidWeb 应用Python 的设置指南。

旧版解决方案

自 2023 年 3 月 1 日起,我们已停止支持以下 MediaPipe 旧版解决方案。所有其他 MediaPipe 旧版解决方案都将升级为新的 MediaPipe 解决方案。如需了解详情,请参阅下表。我们将继续按原样提供所有 MediaPipe 旧版解决方案的代码库和预构建的二进制文件。

旧版解决方案 状态 新的 MediaPipe 解决方案
人脸检测(信息 已升级 人脸检测
人脸网格(信息 已升级 人脸特征点检测
Iris(信息 已升级 人脸特征点检测
手部 (信息) 已升级 手部地标检测
姿势(信息 已升级 姿势特征点检测
全面(信息)(info) 升级 整体特征点检测
自拍分割(信息 已升级 图像分割
头发分割(信息 已升级 图像分割
对象检测(信息) 已升级 对象检测
Box 跟踪(信息 支持结束
即时动作跟踪(信息 支持结束
Objectron(信息) 支持结束
KNIFT (信息) 支持结束
AutoFlip(信息 支持结束
MediaSequence (info) 支持结束
YouTube 8M(信息 支持结束