MediaPipe タスク

MediaPipe Tasks は、MediaPipe Solutions スイートのコア プログラミング インターフェースを提供します。これには、最小限のコードで革新的な ML ソリューションをデバイスにデプロイするためのライブラリのセットが含まれます。Android、ウェブ / JavaScript、Python など、複数のプラットフォームに対応しています。iOS も近日中にサポートされる予定です。

使いやすく、明確に定義されたクロス プラットフォーム API
わずか 5 行のコードで ML 推論を実行できます。MediaPipe Tasks の強力で使いやすいソリューション API を構成要素として使用し、独自の ML 特徴を構築します。

カスタマイズ可能なソリューション
MediaPipe Tasks が提供するすべてのメリットを活用できるほか、Model Maker を介して独自のデータで構築されたモデルを使用して、簡単にカスタマイズすることもできます。たとえば、Model Maker GestureRecognizer API を使用して定義したカスタム操作を認識するモデルを作成し、Tasks GestureRecognizer API を使用して目的のプラットフォームにモデルをデプロイできます。

高性能 ML パイプライン
一般的なオンデバイス ML ソリューションでは、複数の ML ブロックと ML 以外のブロックを組み合わせるため、パフォーマンスが低下します。MediaPipe Tasks は、デバイス上のリアルタイムのユースケースのニーズを満たすために、CPU、GPU、TPU でエンドツーエンドの高速化を実現する最適化された ML パイプラインを提供します。

対応プラットフォーム

このセクションでは、サポートされている各プラットフォームの MediaPipe タスクの概要について説明します。具体的な実装については、各タスクのプラットフォーム固有の開発ガイドをご覧ください。プラットフォームで MediaPipe Tasks を使用するように開発環境を設定する方法については、プラットフォームの設定ガイドをご覧ください。

Android

Android 用の MediaPipe Tasks Java API は、ビジョン、自然言語、音声などの主要なドメインで ML タスクを実行するパッケージに分割されています。これらの API を有効にするために Android アプリ開発プロジェクトに追加できる依存関係は次のとおりです。

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
    implementation 'com.google.mediapipe:tasks-text:latest.release'
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

具体的な実装の詳細については、MediaPipe Tasks の各ソリューションのプラットフォーム固有の開発ガイドをご覧ください。

Python

MediaPipe Tasks の Python API には、ビジョン、自然言語、音声などの主要な分野で ML タスクを実行するソリューション用のメイン モジュールがいくつかあります。以下に、これらの API を有効にするために Python 開発プロジェクトに追加できるインストール コマンドとインポートのリストを示します。

$ python -m pip install mediapipe

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import vision
from mediapipe.tasks.python import text
from mediapipe.tasks.python import audio

具体的な実装の詳細については、MediaPipe Tasks の各ソリューションのプラットフォーム固有の開発ガイドをご覧ください。

ウェブと JavaScript

MediaPipe Tasks の Web JavaScript API は、ビジョン、自然言語、音声などの主要な分野で ML タスクを実行するパッケージに分割されています。次のリストは、これらの API を有効にするためにウェブと JavaScript の開発プロジェクトに追加できるスクリプト インポートのリストです。

<head>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
    crossorigin="anonymous"></script>
  <script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

具体的な実装の詳細については、MediaPipe Tasks の各ソリューションのプラットフォーム固有の開発ガイドをご覧ください。