iOS 設定指南

本頁說明如何設定開發環境,以便在 iOS 應用程式中使用 MediaPipe Tasks。

支援的裝置和平台

如要使用 MediaPipe 工作建立 iOS 應用程式,您的開發環境必須具備下列項目:

  • macOS Mojave 10.14.3 以上版本。

  • Xcode 10.3 或以上。

  • 搭載 iOS 12.0 以上的 iOS 裝置。此外,iOS 模擬器也可以處理不需要裝置相機的應用程式。

開發人員環境設定

在 iOS 應用程式上執行 MediaPipe 工作之前,您必須擁有現有的 Xcode 專案,或是在本機電腦上建立新專案。

MediaPipe 工作只能使用 CocoaPods 安裝。 必須先安裝 CocoaPods 1.12.1 以上版本,才能開始使用。如需在 macOS 上安裝 CocoaPods 的操作說明,請參閱 CocoaPods 安裝指南

程式碼範例設定

MediaPipe 範例存放區包含適用於 MediaPipe 工作的 iOS 應用程式範例。

您可以透過範例程式碼建立專案,建構專案並執行工作。下列步驟會建構文字分類器工作。

如要匯入及建構程式碼範例專案:

  1. 開啟終端機,複製 MediaPipe Example 存放區,然後前往包含 TextClassifier.xcodeprojPodfile 的目錄。

    git clone https://github.com/google-ai-edge/mediapipe-samples
    cd mediapipe/examples/text_classification/ios
    
  2. 使用 CocoaPods 安裝 MediaPipe 工作:

    pod install
    

    這個指令會在範例專案目錄中建立 TextClassifier.xcworkspace 檔案。

  3. 按兩下 TextClassifier.xcworkspace 檔案,即可在 Xcode 中開啟專案。如果 TextClassifier.xcodeproj 檔案已開啟,請先關閉檔案,再開啟 TextClassifier.xcworkspace 檔案。

  4. 選取 TextClassifier 配置,然後從專案視窗的工具列中選擇實體 iOS 裝置或模擬器。使用 iOS 實體裝置時,請確認裝置已連線至 Mac。

  5. 按一下專案工具列中的 Run 按鈕。

如需在 Xcode 上執行應用程式的詳細操作說明,請參閱建構並執行應用程式

MediaPipe 工作依附元件

MediaPipe Tasks 提供兩種預先建構的視覺與文字程式庫。.tflite 模型檔案必須位於使用該模型的 iOS 應用程式套件中。根據 MediaPipe Tas,將視覺或文字程式庫新增至 CocoaPods Podfile 中的 Pod 清單。如需使用應用程式所需的 Pod 建立 Podfile 的操作說明,請參閱「使用 CocoaPods」。

生成式 AI 工作

MediaPipe Tasks Generative AI 程式庫包含處理圖片或文字生成的工作。如要安裝 MediaPipe Tasks Generative AI 程式庫,請將 MediaPipeTasksGenAIMediaPipeTasksGenAIC Pod 新增至 Podfile 中的應用程式目標。

LLM 推論 API

MediaPipe LLM 推論工作包含在 MediaPipeTasksGenAIMediaPipeTasksGenAIC pod 中。

target 'MyLlmInferenceApp' do
  use_frameworks!
  pod 'MediaPipeTasksGenAI'
  pod 'MediaPipeTasksGenAIC'
end

視覺工作

MediaPipe 工作視覺程式庫包含處理圖片或影片輸入內容的工作。如要安裝 MediaPipe Tasks 視覺程式庫,請將 MediaPipeTasksVision Pod 新增至 Podfile 中的應用程式目標。

target 'MyAppWithMediaPipeTasksVision' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

文字工作

MediaPipe Tasks 文字程式庫包含處理文字格式語言資料的工作。如要安裝 MediaPipe Tasks 文字程式庫,請將 MediaPipeTasksText Pod 新增至 Podfile 中的應用程式目標

target 'MyAppWithMediaPipeTasksText' do
  use_frameworks!
  pod 'MediaPipeTasksText'
end

設定測試目標

如果您的應用程式有測試目標,請確保 Podfile 遵循下列任一實作方式,避免在使用 MediaPipe 工作程式庫時產生不理想的行為。

最簡單的實作方式,是確保測試目標不在新增 MediaPipe 工作 Pod 的主要應用程式目標中。

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'
end

target 'MyAppWithMediaPipeTasksTests' do

end

如果測試目標必須位於主要應用程式目標的巢狀結構內,Podfile 必須符合下列實作方式:

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'

    target 'MyAppWithMediaPipeTasksTests' do
      inherit! :none

    end
end

BaseOptions 設定

BaseOptions 允許 MediaPipe Task API 的一般設定。

選項名稱 說明 接受的值
modelAssetPath iOS 應用程式套件中模型檔案的模型路徑。 字串形式的路徑。

硬體加速

在 iOS 上,MediaPipe 工作只能在標準 CPU 處理器上執行模型。

疑難排解

如需 MediaPipe 相關技術問題的協助,請造訪討論群組StackOverflow 取得社群支援。如要回報錯誤或提出功能要求,請在 GitHub 上回報問題

如需設定 iOS 開發環境的說明,請參閱 Apple Developer 說明文件