MediaPipe 工作

MediaPipe Tasks 提供 MediaPipe 解決方案套件的核心程式設計介面,其中包括一組程式庫,可用來將創新的機器學習解決方案部署至具有最少程式碼的裝置。但很快就會支援多種平台,包括 Android、Web / JavaScript、Python,以及 iOS 相關支援。

易於使用且定義完善的跨平台 API
只需 5 行程式碼,即可執行機器學習推論。使用 MediaPipe Tasks 中強大且易於使用的解決方案 API 做為建構模塊,以建構您自己的機器學習功能。

可自訂的解決方案
您可以運用 MediaPipe Tasks 提供的所有優勢,並透過模型製作工具使用以您自己的資料建構的模型來輕鬆自訂。舉例來說,您可以建立一個模型來辨識使用 Model Maker GestureRecognizer API 定義的自訂手勢,然後使用 Tasks GestureRecognizer API 將模型部署至所需的平台。

高效能機器學習管線
一般裝置端機器學習解決方案結合了多個機器學習和非機器學習區塊,進而降低效能。MediaPipe Tasks 提供最佳化的機器學習管道,並在 CPU、GPU 和 TPU 上進行端對端加速,以滿足在裝置端使用情境的需求。

支援的平台

本節概略說明每個支援的平台適用的 MediaPipe 工作。如需特定的實作方式,請參閱每項工作各平台專屬的開發指南。如要瞭解如何設定開發環境以在平台上使用 MediaPipe Tasks,請參閱平台設定指南

Android

Android 版 MediaPipe Tasks Java API 分為多個套件,可在主要領域執行機器學習工作,包括視覺、自然語言和音訊。以下清單列出可新增至 Android 應用程式開發專案以啟用這些 API 的依附元件:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
    implementation 'com.google.mediapipe:tasks-text:latest.release'
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

如需特定的實作詳細資料,請參閱 MediaPipe Tasks 中各項解決方案適用的平台專屬開發指南

Python

MediaPipe Tasks Python API 針對在主要領域執行機器學習工作的解決方案 (包括視覺、自然語言和音訊) 有數個主要模組。以下列出安裝指令,以及您可以新增至 Python 開發專案的匯入清單,以啟用這些 API:

$ python -m pip install mediapipe

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio

如需特定的實作詳細資料,請參閱 MediaPipe Tasks 中各項解決方案適用的平台專屬開發指南

網頁和 JavaScript

MediaPipe Tasks Web JavaScript API 分成幾個套件,這些套件可在主要領域執行機器學習工作,包括視覺、自然語言和音訊。以下列出可新增至網頁和 JavaScript 開發專案的指令碼匯入項目,以啟用這些 API:

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

如需特定的實作詳細資料,請參閱 MediaPipe Tasks 中各項解決方案適用的平台專屬開發指南