このページでは、MediaPipe を使用する開発環境の設定方法について説明します。 Android アプリ内の ToDo リスト。
サポートされているデバイスとプラットフォーム
MediaPipe Tasks で Android アプリを作成するには、 環境の要件は次のとおりです。
- Android Studio 2021.1.1(Bumblebee)、または互換性のある IDE
- Android SDK バージョン 24 以降
- 最小 SDK バージョンがインストールされた Android デバイス。Android Emulator タスクによっては動作しない場合があります。
開発環境のセットアップ
Android アプリで MediaPipe タスクを実行する前に、以下のいずれかが必要です。 ローカルマシン上で新しい Android Studio プロジェクトを作成できます。 MediaPipe はデータ アプリのレイヤ これにはアプリケーション データとビジネス ロジックが含まれます。このモジュールの Android アプリのアーキテクチャについては、アプリガイド アーキテクチャをご覧ください。
Android デバイスのセットアップ
実際の Android デバイスで開発者向けオプションと USB デバッグを有効にする必要があります 事前に確認しておく必要があります設定手順については、 オンデバイス デベロッパーを設定するをご覧ください。 オプションをご覧ください。
デバイスのカメラやマイクを必要としないタスクの場合は、 物理的な Android デバイスではなく、Android デバイス エミュレータを使用します。手順については、 詳しくは、Android Emulator 上でアプリを実行する エミュレータ。
コードの設定例
MediaPipe サンプル リポジトリ 各 MediaPipe タスク用の Android アプリのサンプルが含まれています。新しい プロジェクトをビルドして実行します。
サンプルコード プロジェクトをインポートしてビルドするには:
- Android Studio を起動します。
- Android Studio で、[File] >新規 >プロジェクトのインポートをご覧ください。
build.gradle
ファイルを含むサンプルコードのディレクトリに移動します。 そのディレクトリを選択します。次に例を示します。.../mediapipe/examples/text_classification/android/build.gradle
- Android Studio から Gradle の同期が要求された場合は、[OK] を選択します。
- Android デバイスが、ご利用のパソコンとデベロッパーに接続されていることを確認する
モードが有効になります。緑色の矢印
Run
をクリックします。
正しいディレクトリを選択すると、Android Studio によって新しいプロジェクトが作成され、
構築します。この処理には、数分ほどかかることがあります。
他のプロジェクトで Android Studio を使用した場合も、ビルドが
完了すると、Android Studio のBUILD SUCCESSFUL
メッセージが
[Build Output] ステータス パネル。
プロジェクトを実行するには:
- Android Studio で、[Run] >実行...。
- アプリをテストする、接続されている Android デバイス(またはエミュレータ)を選択します。
MediaPipe Tasks の依存関係
MediaPipe Tasks には、ビジョン、テキスト、音声用の 3 つのビルド済みライブラリが用意されています。「
.tflite
モデルファイルは、Android のアセット ディレクトリに配置する必要があります。
そのモデルを使用するモジュールです。アプリで使用される MediaPipe タスクに応じて、以下を追加します。
ビュー、テキスト、またはオーディオ ライブラリを
build.gradle
ファイル。
生成 AI のタスク
MediaPipe Tasks の生成 AI ライブラリには、画像やテキストを処理するタスクが
説明します。MediaPipe Tasks の生成 AI ライブラリを
依存関係を build.gradle
ファイルに追加します。
画像生成ツール
MediaPipe Image Generator タスクは、
tasks-vision-image-generator
ライブラリ:依存関係を
build.gradle
ファイル:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
LLM 推論 API
MediaPipe LLM 推論タスクは tasks-genai
内に含まれています。
ライブラリです。build.gradle
ファイルに依存関係を追加します。
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
視覚に関するタスク
MediaPipe Tasks ビジョン ライブラリには、画像や動画を処理するタスクが含まれます
できます。Android Studio で MediaPipe Tasks ビジョン ライブラリをインポートするには、
build.gradle
ファイルに次の依存関係を追加します。
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
テキスト タスク
MediaPipe Tasks テキスト ライブラリには、
テキスト形式にします。Android Studio で MediaPipe Tasks テキスト ライブラリをインポートするには、
build.gradle
ファイルに次の依存関係を追加します。
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
音声タスク
MediaPipe Tasks オーディオ ライブラリには、音声入力を処理するタスクが含まれています。宛先
MediaPipe Tasks のオーディオ ライブラリを Android Studio にインポートし、
build.gradle
ファイルに以下の依存関係を追加します。
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
BaseOptions 構成
BaseOptions
を使用すると、MediaPipe Task API の一般的な構成が可能になります。
オプション名 | 説明 | 有効な値 |
---|---|---|
modelAssetBuffer |
直接の ByteBuffer または MappedByteBuffer としてのモデルアセット ファイルの内容。 |
文字列としての ByteBuffer または MappedByteBuffer |
modelAssetPath |
Android アプリのアセット フォルダにあるモデルアセット ファイルへのモデルパス。 | 文字列としてのファイルパス |
modelAssetFileDescriptor |
モデル アセット ファイルのネイティブ ファイル記述子整数。 | ファイル記述子を指定する整数 |
Delegate |
MediaPipe パイプラインを実行するデバイス デリゲートによるハードウェア アクセラレーションを有効にします。デフォルト値: CPU 。 |
[CPU ,GPU ] |
ハードウェア アクセラレーション
MediaPipe Tasks では、画像処理装置(GPU)を使用して以下を実行できます。 学習しますAndroid デバイスでは、 デリゲートを使用した GPU アクセラレーションによるモデルの実行。代理人の役割 MediaPipe 用のハードウェア ドライバにより、GPU 上でモデルを実行可能 一般的な CPU プロセッサの代わりに 構成されます
BaseOptions
を使用して、タスク オプションで GPU デリゲートを構成します。
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
トラブルシューティング
MediaPipe に関連する技術的な質問については、こちらのディスカッション group または Stack オーバーフロー: できます。バグの報告や機能リクエストを行うには、 GitHub
Android 開発環境の設定については、Android デベロッパー向けドキュメントをご覧ください。