本頁面說明如何設定使用 MediaPipe 的開發環境 Android 應用程式中的工作。
支援的裝置和平台
如要使用 MediaPipe Tasks 建立 Android 應用程式,您的開發作業 環境則需要下列項目:
- Android Studio,其中包含 建議至少使用 2021.1.1 (Bumblebee) 或其他相容的版本 IDE。
- Android SDK 24 以上版本
- 搭載最低 SDK 版本的 Android 裝置。Android 模擬器 可能無法處理所有工作。
開發人員環境設定
在 Android 應用程式上執行 MediaPipe 工作之前,您必須 或在本機上建立新的 Android Studio 專案。 MediaPipe 與資料 應用程式層 當中包含應用程式資料和商業邏輯如要進一步瞭解 Android 應用程式架構,請參閱「應用程式指南 架構
Android 裝置設定
您必須在實體 Android 裝置上啟用開發人員選項和 USB 偵錯功能 然後使用這個 API 來測試應用程式如需設定 搭載開發人員選項的裝置,請參閱「設定裝置端開發人員」 選項。
對於不需要裝置相機或麥克風的工作,您可以使用 Android 裝置模擬器,而非實體 Android 裝置。操作說明 想瞭解如何設定 Android Emulator,請參閱「在 Android 上執行應用程式 模擬器。
程式碼範例設定
MediaPipe 範例存放區 包含每個 MediaPipe 工作的範例 Android 應用程式。您可以建立 來建構並執行專案。
如要匯入及建構程式碼範例專案:
- 啟動 Android Studio。
- 在 Android Studio 中,依序選取「File」(檔案) >「新增 >匯入專案。
- 前往包含
build.gradle
檔案的範例程式碼目錄 並選取該目錄,例如:.../mediapipe/examples/text_classification/android/build.gradle
- 如果 Android Studio 要求 Gradle 同步,請選擇「OK」。
- 確認 Android 裝置已連上電腦和開發人員
模式已啟用。按一下綠色的
Run
箭頭。
如果您選取正確的目錄,Android Studio 會建立新專案並
建構過程這項程序可能需要幾分鐘才能完成,具體時間取決於
若您已將 Android Studio 用於其他專案建構完成後
完成後,Android Studio 會在BUILD SUCCESSFUL
「Build Output」狀態面板。
如要執行專案:
- 在 Android Studio 中,選取「Run」執行專案執行...
- 選取連結的 Android 裝置 (或模擬器) 即可測試應用程式。
MediaPipe 工作依附元件
MediaPipe Tasks 提供三種預建程式庫,可用於視覺、文字、音訊。
.tflite
模型檔案必須位於 Android 的素材資源目錄中
模型會使用該模型根據應用程式使用的 MediaPipe 工作,新增
可將 Visual Studio 中的依附元件清單
build.gradle
檔案。
生成式 AI 工作
MediaPipe Tasks 生成式 AI 程式庫包含處理圖片
像是生成文字、圖片、文字如要在以下位置匯入 MediaPipe Tasks 生成式 AI 程式庫:
Android Studio,將依附元件新增至 build.gradle
檔案。
圖片產生器
MediaPipe 圖片產生器工作包含在
tasks-vision-image-generator
程式庫。將依附元件加入
build.gradle
檔案:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
大型語言模型推論 API
MediaPipe LLM 推論工作位於 tasks-genai
資源庫。在 build.gradle
檔案中加入依附元件:
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
視覺任務
MediaPipe Tasks 視覺程式庫包含處理圖片或影片的工作
輸入內容如要在 Android Studio 中匯入 MediaPipe Tasks 視覺程式庫,請將
下列依附元件加入 build.gradle
檔案:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
文字工作
MediaPipe Tasks 文字庫包含處理中語言資料的工作
文字格式。如要在 Android Studio 中匯入 MediaPipe Tasks 文字資料庫,請新增
build.gradle
檔案的下列依附元件:
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
音訊工作
MediaPipe 工作音樂庫包含處理聲音輸入的工作。目的地:
在 Android Studio 中匯入 MediaPipe Tasks 音樂庫,請新增下列內容
build.gradle
檔案的依附元件:
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
BaseOptions 設定
BaseOptions
允許適用於 MediaPipe Task API 的一般設定。
選項名稱 | 說明 | 接受的值 |
---|---|---|
modelAssetBuffer |
模型資產檔案內容為直接 ByteBuffer 或 MappedByteBuffer 。 |
使用 ByteBuffer 或 MappedByteBuffer 做為字串 |
modelAssetPath |
Android 應用程式素材資源資料夾中的模型資產檔案模型路徑。 | 字串形式的檔案路徑 |
modelAssetFileDescriptor |
模型資產檔案的原生檔案描述元整數。 | 指定檔案描述元的整數 |
Delegate |
啟用透過裝置委派作業執行 MediaPipe 管道的硬體加速功能。預設值為 CPU 。 |
[CPU ,GPU ] |
硬體加速
MediaPipe 工作支援使用圖形處理器 (GPU) 執行 機器學習模型在 Android 裝置上,您可以啟用 使用委派功能,以 GPU 加速執行模型。委派代表的身分 MediaPipe 的硬體驅動程式,讓您在 GPU 上執行模型 而非標準 CPU 處理器
透過 BaseOptions
在工作選項中設定 GPU 委派:
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
疑難排解
如需 MediaPipe 相關技術問題的說明,請前往討論區 群組或 Stack 向支援團隊尋求協助 社群如要回報錯誤或提出功能要求,請在 GitHub。
如需設定 Android 開發環境的相關說明,請造訪 Android 開發人員說明文件。