Auf dieser Seite erfahren Sie, wie Sie Ihre Entwicklungsumgebung für die Verwendung von MediaPipe-Tasks in Ihren iOS-Anwendungen einrichten.
Unterstützte Geräte und Plattformen
Zum Erstellen von iOS-Anwendungen mit MediaPipe Tasks benötigt Ihre Entwicklungsumgebung Folgendes:
macOS Mojave 10.14.3 oder höher.
Xcode 10.3 oder höher.
iOS-Gerät mit iOS 12.0 oder höher Alternativ kann ein iOS-Simulator Anwendungen verarbeiten, die die Gerätekamera nicht benötigen.
Einrichtung der Entwicklungsumgebung
Bevor Sie eine MediaPipe-Aufgabe in einer iOS-App ausführen, müssen Sie entweder ein Xcode-Projekt haben oder ein neues auf Ihrem lokalen Computer erstellen.
MediaPipe-Tasks können nur mit CocoaPods installiert werden. Sie müssen zuerst CocoaPods 1.12.1 oder höher installieren. Eine Anleitung zur Installation von CocoaPods unter macOS findest du im CocoaPods-Installationshandbuch.
Einrichtung des Beispielcodes
Das Repository MediaPipe Examples enthält iOS-Beispielanwendungen für MediaPipe-Aufgaben.
Sie können ein Projekt aus dem Beispielcode erstellen, das Projekt erstellen und die Aufgabe ausführen. Mit den folgenden Schritten wird die Aufgabe Textklassifikator erstellt.
So importieren und erstellen Sie das Beispielcodeprojekt:
Öffnen Sie das Terminal, klonen Sie das MediaPipe-Beispiel-Repository und rufen Sie das Verzeichnis auf, das
TextClassifier.xcodeproj
undPodfile
enthält.git clone https://github.com/google-ai-edge/mediapipe-samples cd mediapipe/examples/text_classification/ios
Installieren Sie MediaPipe-Aufgaben mit CocoaPods:
pod install
Mit diesem Befehl wird im Beispielprojektverzeichnis eine
TextClassifier.xcworkspace
-Datei erstellt.Doppelklicken Sie auf die Datei
TextClassifier.xcworkspace
, um das Projekt in Xcode zu öffnen. Wenn die DateiTextClassifier.xcodeproj
bereits geöffnet ist, schließen Sie sie, bevor Sie die DateiTextClassifier.xcworkspace
öffnen.Wählen Sie das Schema
TextClassifier
und ein physisches iOS-Gerät oder einen Simulator aus der Symbolleiste Ihres Projektfensters aus. Wenn Sie ein iOS-Gerät verwenden, achten Sie darauf, dass es mit Ihrem Mac verbunden ist.Klicken Sie in der Symbolleiste des Projekts auf die Schaltfläche
Run
.
Weitere Informationen zum Ausführen einer Anwendung in Xcode finden Sie unter Anwendung erstellen und ausführen.
Abhängigkeiten von MediaPipe Tasks
MediaPipe Tasks bietet zwei vorgefertigte Bibliotheken für Vision und Text. Die Modelldatei .tflite
muss sich im Bundle der iOS-Anwendung befinden, die das Modell verwendet. Füge je nach MediaPipe Tas entweder die vision- oder text-Bibliothek der Liste der Pods im CocoaPods-Podfile
hinzu. Eine Anleitung zum Erstellen eines Podfile
mit den erforderlichen Pods für Ihre Anwendung finden Sie unter CocoaPods verwenden.
Aufgaben mit generativer KI
Die generativen KI-Bibliotheken von MediaPipe Tasks enthalten Aufgaben, die die Bild- oder Textgenerierung verarbeiten. Fügen Sie dem Ziel Ihrer Anwendung in der Podfile
die Pods MediaPipeTasksGenAI
und MediaPipeTasksGenAIC
hinzu, um die Generative AI-Bibliothek von MediaPipe Tasks zu installieren.
LLM Inference API
Die LLM-Inferenzaufgabe von MediaPipe ist in den Pods MediaPipeTasksGenAI
und MediaPipeTasksGenAIC
enthalten.
target 'MyLlmInferenceApp' do
use_frameworks!
pod 'MediaPipeTasksGenAI'
pod 'MediaPipeTasksGenAIC'
end
Sehaufgaben
Die Vision-Bibliothek von MediaPipe Tasks enthält Aufgaben, die Bild- oder Videoeingaben verarbeiten. Fügen Sie den Pod MediaPipeTasksVision
dem Ziel Ihrer Anwendung im Podfile
hinzu, um die Vision-Bibliothek von MediaPipe Tasks zu installieren.
target 'MyAppWithMediaPipeTasksVision' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
SMS-Aufgaben
Die Textbibliothek „MediaPipe Tasks“ enthält Aufgaben, die Sprachdaten im Textformat verarbeiten. Fügen Sie zum Installieren der MediaPipe Tasks-Textbibliothek den Pod MediaPipeTasksText
dem Ziel Ihrer Anwendung im Podfile
hinzu
target 'MyAppWithMediaPipeTasksText' do
use_frameworks!
pod 'MediaPipeTasksText'
end
Testziele konfigurieren
Wenn Ihre Anwendung ein Testziel hat, muss Ihre Podfile-Datei einer der folgenden Implementierungen entsprechen, um unerwünschtes Verhalten bei der Verwendung einer MediaPipe-Aufgabenbibliothek zu vermeiden.
Die einfachste Implementierung besteht darin, dafür zu sorgen, dass das Testziel nicht im Hauptziel der Anwendung verschachtelt ist, von dem der MediaPipe-Task-Pod hinzugefügt wird.
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
end
target 'MyAppWithMediaPipeTasksTests' do
end
Wenn das Testziel im Hauptziel der Anwendung verschachtelt sein muss, muss die Podfile-Datei der folgenden Implementierung entsprechen:
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
target 'MyAppWithMediaPipeTasksTests' do
inherit! :none
end
end
BaseOptions-Konfiguration
Die BaseOptions ermöglichen die allgemeine Konfiguration von MediaPipe Task APIs.
Optionsname | Beschreibung | Gültige Werte |
---|---|---|
modelAssetPath |
Der Modellpfad zu einer Modelldatei im iOS-Anwendungs-Bundle. | Pfad als String. |
Hardwarebeschleunigung
Unter iOS unterstützt MediaPipe Tasks nur das Ausführen von Modellen auf Standard-CPU-Prozessoren.
Fehlerbehebung
Bei technischen Fragen zu MediaPipe besuchen Sie das Diskussionsgruppe oder Stack Overflow, um Unterstützung von der Community zu erhalten. Wenn Sie Fehler melden oder Funktionsanfragen stellen möchten, melden Sie ein Problem auf GitHub.
Hilfe beim Einrichten der iOS-Entwicklungsumgebung findest du in der Apple Developer-Dokumentation.