Einrichtungsleitfaden für iOS

Auf dieser Seite erfahren Sie, wie Sie Ihre Entwicklungsumgebung für die Verwendung von MediaPipe-Tasks in Ihren iOS-Anwendungen einrichten.

Unterstützte Geräte und Plattformen

Zum Erstellen von iOS-Anwendungen mit MediaPipe Tasks benötigt Ihre Entwicklungsumgebung Folgendes:

  • macOS Mojave 10.14.3 oder höher.

  • Xcode 10.3 oder höher.

  • iOS-Gerät mit iOS 12.0 oder höher Alternativ kann ein iOS-Simulator Anwendungen verarbeiten, die die Gerätekamera nicht benötigen.

Einrichtung der Entwicklungsumgebung

Bevor Sie eine MediaPipe-Aufgabe in einer iOS-App ausführen, müssen Sie entweder ein Xcode-Projekt haben oder ein neues auf Ihrem lokalen Computer erstellen.

MediaPipe-Tasks können nur mit CocoaPods installiert werden. Sie müssen zuerst CocoaPods 1.12.1 oder höher installieren. Eine Anleitung zur Installation von CocoaPods unter macOS findest du im CocoaPods-Installationshandbuch.

Einrichtung des Beispielcodes

Das Repository MediaPipe Examples enthält iOS-Beispielanwendungen für MediaPipe-Aufgaben.

Sie können ein Projekt aus dem Beispielcode erstellen, das Projekt erstellen und die Aufgabe ausführen. Mit den folgenden Schritten wird die Aufgabe Textklassifikator erstellt.

So importieren und erstellen Sie das Beispielcodeprojekt:

  1. Öffnen Sie das Terminal, klonen Sie das MediaPipe-Beispiel-Repository und rufen Sie das Verzeichnis auf, das TextClassifier.xcodeproj und Podfile enthält.

    git clone https://github.com/google-ai-edge/mediapipe-samples
cd mediapipe/examples/text_classification/ios

  2. Installieren Sie MediaPipe-Aufgaben mit CocoaPods:

    pod install

    Mit diesem Befehl wird im Beispielprojektverzeichnis eine TextClassifier.xcworkspace-Datei erstellt.

  3. Doppelklicken Sie auf die Datei TextClassifier.xcworkspace, um das Projekt in Xcode zu öffnen. Wenn die Datei TextClassifier.xcodeproj bereits geöffnet ist, schließen Sie sie, bevor Sie die Datei TextClassifier.xcworkspace öffnen.

  4. Wählen Sie das Schema TextClassifier und ein physisches iOS-Gerät oder einen Simulator aus der Symbolleiste Ihres Projektfensters aus. Wenn Sie ein iOS-Gerät verwenden, achten Sie darauf, dass es mit Ihrem Mac verbunden ist.

  5. Klicken Sie in der Symbolleiste des Projekts auf die Schaltfläche Run.

Weitere Informationen zum Ausführen einer Anwendung in Xcode finden Sie unter Anwendung erstellen und ausführen.

Abhängigkeiten von MediaPipe Tasks

MediaPipe Tasks bietet zwei vorgefertigte Bibliotheken für Vision und Text. Die Modelldatei .tflite muss sich im Bundle der iOS-Anwendung befinden, die das Modell verwendet. Füge je nach MediaPipe Tas entweder die vision- oder text-Bibliothek der Liste der Pods im CocoaPods-Podfile hinzu. Eine Anleitung zum Erstellen eines Podfile mit den erforderlichen Pods für Ihre Anwendung finden Sie unter CocoaPods verwenden.

Aufgaben mit generativer KI

Die generativen KI-Bibliotheken von MediaPipe Tasks enthalten Aufgaben, die die Bild- oder Textgenerierung verarbeiten. Fügen Sie dem Ziel Ihrer Anwendung in der Podfile die Pods MediaPipeTasksGenAI und MediaPipeTasksGenAIC hinzu, um die Generative AI-Bibliothek von MediaPipe Tasks zu installieren.

LLM Inference API

Die LLM-Inferenzaufgabe von MediaPipe ist in den Pods MediaPipeTasksGenAI und MediaPipeTasksGenAIC enthalten.

target 'MyLlmInferenceApp' do
  use_frameworks!
  pod 'MediaPipeTasksGenAI'
  pod 'MediaPipeTasksGenAIC'
end

Sehaufgaben

Die Vision-Bibliothek von MediaPipe Tasks enthält Aufgaben, die Bild- oder Videoeingaben verarbeiten. Fügen Sie den Pod MediaPipeTasksVision dem Ziel Ihrer Anwendung im Podfile hinzu, um die Vision-Bibliothek von MediaPipe Tasks zu installieren.

target 'MyAppWithMediaPipeTasksVision' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

SMS-Aufgaben

Die Textbibliothek „MediaPipe Tasks“ enthält Aufgaben, die Sprachdaten im Textformat verarbeiten. Fügen Sie zum Installieren der MediaPipe Tasks-Textbibliothek den Pod MediaPipeTasksText dem Ziel Ihrer Anwendung im Podfile hinzu

target 'MyAppWithMediaPipeTasksText' do
  use_frameworks!
  pod 'MediaPipeTasksText'
end

Testziele konfigurieren

Wenn Ihre Anwendung ein Testziel hat, muss Ihre Podfile-Datei einer der folgenden Implementierungen entsprechen, um unerwünschtes Verhalten bei der Verwendung einer MediaPipe-Aufgabenbibliothek zu vermeiden.

Die einfachste Implementierung besteht darin, dafür zu sorgen, dass das Testziel nicht im Hauptziel der Anwendung verschachtelt ist, von dem der MediaPipe-Task-Pod hinzugefügt wird.

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'
end

target 'MyAppWithMediaPipeTasksTests' do

end

Wenn das Testziel im Hauptziel der Anwendung verschachtelt sein muss, muss die Podfile-Datei der folgenden Implementierung entsprechen:

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'

    target 'MyAppWithMediaPipeTasksTests' do
      inherit! :none

    end
end

BaseOptions-Konfiguration

Die BaseOptions ermöglichen die allgemeine Konfiguration von MediaPipe Task APIs.

Optionsname Beschreibung Gültige Werte
modelAssetPath Der Modellpfad zu einer Modelldatei im iOS-Anwendungs-Bundle. Pfad als String.

Hardwarebeschleunigung

Unter iOS unterstützt MediaPipe Tasks nur das Ausführen von Modellen auf Standard-CPU-Prozessoren.

Fehlerbehebung

Bei technischen Fragen zu MediaPipe besuchen Sie das Diskussionsgruppe oder Stack Overflow, um Unterstützung von der Community zu erhalten. Wenn Sie Fehler melden oder Funktionsanfragen stellen möchten, melden Sie ein Problem auf GitHub.

Hilfe beim Einrichten der iOS-Entwicklungsumgebung findest du in der Apple Developer-Dokumentation.