Questa pagina mostra come configurare l'ambiente di sviluppo per l'utilizzo di MediaPipe Tasks nelle applicazioni iOS.
Piattaforme e dispositivi supportati
Per creare applicazioni iOS con MediaPipe Tasks, il tuo ambiente di sviluppo richiede quanto segue:
macOS Mojave 10.14.3 o versioni successive.
Xcode 10.3 o versioni successive.
Dispositivo iOS con almeno iOS 12.0. In alternativa, un simulatore iOS può gestire app che non richiedono la fotocamera del dispositivo.
Configurazione dell'ambiente di sviluppo
Prima di eseguire un'attività MediaPipe su un'applicazione iOS, devi avere un progetto Xcode esistente o crearne uno nuovo sulla tua macchina locale.
MediaPipe Tasks può essere installato solo utilizzando CocoaPods. Devi installare CocoaPods 1.12.1 o versioni successive prima di iniziare. Per istruzioni su come installare CocoaPods su macOS, consulta la guida all'installazione di CocoaPods.
Esempio di configurazione del codice
Il repository Esempi di MediaPipe contiene applicazioni iOS di esempio per le attività MediaPipe.
Puoi creare un progetto dal codice di esempio, creare il progetto ed eseguire l'attività. I passaggi seguenti creano l'attività Classificazione di testo.
Per importare e creare il progetto di codice di esempio:
Apri il terminale, clona il repository MediaPipe Example e vai alla directory contenente
TextClassifier.xcodeproj
ePodfile
.git clone https://github.com/google-ai-edge/mediapipe-samples cd mediapipe/examples/text_classification/ios
Installa MediaPipe Tasks utilizzando CocoaPods:
pod install
Questo comando crea un file
TextClassifier.xcworkspace
nella directory del progetto di esempio.Fai doppio clic sul file
TextClassifier.xcworkspace
per aprire il progetto in Xcode. Se il fileTextClassifier.xcodeproj
è già aperto, chiudilo prima di aprire il fileTextClassifier.xcworkspace
.Seleziona lo schema
TextClassifier
e scegli un dispositivo iOS o un simulatore fisico dalla barra degli strumenti della finestra del progetto. Quando utilizzi un dispositivo iOS fisico, assicurati che sia collegato al Mac.Fai clic sul pulsante
Run
nella barra degli strumenti del progetto.
Per ulteriori istruzioni sull'esecuzione di un'app su Xcode, consulta Creazione ed esecuzione di un'app.
Dipendenze MediaPipe Tasks
MediaPipe Tasks fornisce due librerie predefinite per visione artificiale e testo. Il file del modello .tflite
deve trovarsi nel bundle dell'applicazione iOS che utilizza il modello. A seconda di MediaPipe Tas, aggiungi la libreria di visualizzazione o di testo all'elenco dei pod all'interno di CocoaPods Podfile
. Per istruzioni su come
creare un elemento Podfile
con i pod richiesti per la tua app, consulta la sezione Utilizzare
CocoaPods.
Attività relative all'IA generativa
Le librerie di IA generativa delle attività di MediaPipe contengono attività che gestiscono la generazione di immagini o testo. Per installare la libreria di IA generativa di MediaPipe Tasks, aggiungi i pod MediaPipeTasksGenAI
e MediaPipeTasksGenAIC
al target della tua app in Podfile
.
API LLM Inference
L'attività di inferenza LLM MediaPipe è contenuta all'interno dei pod MediaPipeTasksGenAI
e MediaPipeTasksGenAIC
.
target 'MyLlmInferenceApp' do
use_frameworks!
pod 'MediaPipeTasksGenAI'
pod 'MediaPipeTasksGenAIC'
end
Attività relative alla vista
La libreria di visione artificiale Tasks di MediaPipe contiene attività che gestiscono gli input di immagini o video. Per installare la libreria visiva di Tasks MediaPipe, aggiungi il pod MediaPipeTasksVision
al target della tua app in Podfile
.
target 'MyAppWithMediaPipeTasksVision' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
Attività di testo
La libreria di testo delle attività di MediaPipe contiene attività che gestiscono i dati della lingua in formato testo. Per installare la libreria di testo Tasks MediaPipe, aggiungi il pod MediaPipeTasksText
alla destinazione della tua app in Podfile
target 'MyAppWithMediaPipeTasksText' do
use_frameworks!
pod 'MediaPipeTasksText'
end
Configura target di test
Se la tua app ha una destinazione di test, assicurati che il podfile sia conforme a una delle seguenti implementazioni per evitare comportamenti indesiderati quando utilizzi una libreria di attività MediaPipe.
L'implementazione più semplice consiste nell'assicurare che la destinazione del test non sia nidificata all'interno del target dell'app principale che aggiunge il pod dell'attività MediaPipe.
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
end
target 'MyAppWithMediaPipeTasksTests' do
end
Se la destinazione di test deve essere nidificata all'interno della destinazione principale dell'app, il podfile deve essere conforme alla seguente implementazione:
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
target 'MyAppWithMediaPipeTasksTests' do
inherit! :none
end
end
Configurazione BaseOptions
BaseOptions consente la configurazione generale delle API MediaPipe Task.
Nome opzione | Descrizione | Valori accettati |
---|---|---|
modelAssetPath |
Il percorso del modello di un file del modello nel bundle dell'applicazione iOS. | Percorso come stringa. |
Accelerazione hardware
Su iOS, MediaPipe Tasks supporta solo modelli in esecuzione su processori CPU standard.
Risoluzione dei problemi
Per ricevere assistenza in merito a domande tecniche relative a MediaPipe, visita il gruppo di discussione o Stack Overflow per ricevere assistenza dalla community. Per segnalare bug o richiedere funzionalità, segnala un problema su GitHub.
Per assistenza nella configurazione dell'ambiente di sviluppo iOS, consulta la documentazione per gli sviluppatori Apple.