本頁說明如何設定開發環境,以便在 iOS 應用程式中使用 MediaPipe Tasks。
支援的裝置和平台
如要使用 MediaPipe 工作建立 iOS 應用程式,您的開發環境必須具備下列項目:
macOS Mojave 10.14.3 以上版本。
Xcode 10.3 或以上。
搭載 iOS 12.0 以上的 iOS 裝置。此外,iOS 模擬器也可以處理不需要裝置相機的應用程式。
開發人員環境設定
在 iOS 應用程式上執行 MediaPipe 工作之前,您必須擁有現有的 Xcode 專案,或是在本機電腦上建立新專案。
MediaPipe 工作只能使用 CocoaPods 安裝。 必須先安裝 CocoaPods 1.12.1 以上版本,才能開始使用。如需在 macOS 上安裝 CocoaPods 的操作說明,請參閱 CocoaPods 安裝指南。
程式碼範例設定
MediaPipe 範例存放區包含適用於 MediaPipe 工作的 iOS 應用程式範例。
您可以透過範例程式碼建立專案,建構專案並執行工作。下列步驟會建構文字分類器工作。
如要匯入及建構程式碼範例專案:
開啟終端機,複製 MediaPipe Example 存放區,然後前往包含
TextClassifier.xcodeproj
和Podfile
的目錄。git clone https://github.com/google-ai-edge/mediapipe-samples cd mediapipe/examples/text_classification/ios
使用 CocoaPods 安裝 MediaPipe 工作:
pod install
這個指令會在範例專案目錄中建立
TextClassifier.xcworkspace
檔案。按兩下
TextClassifier.xcworkspace
檔案,即可在 Xcode 中開啟專案。如果TextClassifier.xcodeproj
檔案已開啟,請先關閉檔案,再開啟TextClassifier.xcworkspace
檔案。選取
TextClassifier
配置,然後從專案視窗的工具列中選擇實體 iOS 裝置或模擬器。使用 iOS 實體裝置時,請確認裝置已連線至 Mac。按一下專案工具列中的
Run
按鈕。
如需在 Xcode 上執行應用程式的詳細操作說明,請參閱建構並執行應用程式。
MediaPipe 工作依附元件
MediaPipe Tasks 提供兩種預先建構的視覺與文字程式庫。.tflite
模型檔案必須位於使用該模型的 iOS 應用程式套件中。根據 MediaPipe Tas,將視覺或文字程式庫新增至 CocoaPods Podfile
中的 Pod 清單。如需使用應用程式所需的 Pod 建立 Podfile
的操作說明,請參閱「使用 CocoaPods」。
生成式 AI 工作
MediaPipe Tasks Generative AI 程式庫包含處理圖片或文字生成的工作。如要安裝 MediaPipe Tasks Generative AI 程式庫,請將 MediaPipeTasksGenAI
和 MediaPipeTasksGenAIC
Pod 新增至 Podfile
中的應用程式目標。
LLM 推論 API
MediaPipe LLM 推論工作包含在 MediaPipeTasksGenAI
和 MediaPipeTasksGenAIC
pod 中。
target 'MyLlmInferenceApp' do
use_frameworks!
pod 'MediaPipeTasksGenAI'
pod 'MediaPipeTasksGenAIC'
end
視覺工作
MediaPipe 工作視覺程式庫包含處理圖片或影片輸入內容的工作。如要安裝 MediaPipe Tasks 視覺程式庫,請將 MediaPipeTasksVision
Pod 新增至 Podfile
中的應用程式目標。
target 'MyAppWithMediaPipeTasksVision' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
文字工作
MediaPipe Tasks 文字程式庫包含處理文字格式語言資料的工作。如要安裝 MediaPipe Tasks 文字程式庫,請將 MediaPipeTasksText
Pod 新增至 Podfile
中的應用程式目標
target 'MyAppWithMediaPipeTasksText' do
use_frameworks!
pod 'MediaPipeTasksText'
end
設定測試目標
如果您的應用程式有測試目標,請確保 Podfile 遵循下列任一實作方式,避免在使用 MediaPipe 工作程式庫時產生不理想的行為。
最簡單的實作方式,是確保測試目標不在新增 MediaPipe 工作 Pod 的主要應用程式目標中。
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
end
target 'MyAppWithMediaPipeTasksTests' do
end
如果測試目標必須位於主要應用程式目標的巢狀結構內,Podfile 必須符合下列實作方式:
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
target 'MyAppWithMediaPipeTasksTests' do
inherit! :none
end
end
BaseOptions 設定
BaseOptions 允許 MediaPipe Task API 的一般設定。
選項名稱 | 說明 | 接受的值 |
---|---|---|
modelAssetPath |
iOS 應用程式套件中模型檔案的模型路徑。 | 字串形式的路徑。 |
硬體加速
在 iOS 上,MediaPipe 工作只能在標準 CPU 處理器上執行模型。
疑難排解
如需 MediaPipe 相關技術問題的協助,請造訪討論群組或 StackOverflow 取得社群支援。如要回報錯誤或提出功能要求,請在 GitHub 上回報問題。
如需設定 iOS 開發環境的說明,請參閱 Apple Developer 說明文件。