Na tej stronie dowiesz się, jak skonfigurować środowisko programistyczne, aby używać MediaPipe Tasks w aplikacjach na iOS.
Obsługiwane urządzenia i platformy
Aby tworzyć aplikacje na iOS za pomocą zadań MediaPipe, w Twoim środowisku programistycznym są potrzebne:
system macOS Mojave w wersji 10.14.3 lub nowszej.
Xcode 10.3 lub nowszy.
urządzenie z iOS w wersji co najmniej 12.0 lub nowszej. Z kolei symulator iOS obsługuje aplikacje, które nie wymagają aparatu urządzenia.
Konfiguracja środowiska programistycznego
Zanim uruchomisz zadanie MediaPipe w aplikacji na iOS, musisz mieć istniejący projekt Xcode lub utworzyć nowy na komputerze lokalnym.
Zadania MediaPipe można instalować tylko za pomocą CocoaPods. Zanim zaczniesz, musisz zainstalować CocoaPods w wersji 1.12.1 lub nowszej. Instrukcje instalowania CocoaPods na urządzeniach z macOS znajdziesz w przewodniku instalacji CocoaPods.
Przykład konfiguracji kodu
Repozytorium MediaPipe zawiera przykładowe aplikacje na iOS dla zadań MediaPipe.
Możesz utworzyć projekt na podstawie przykładowego kodu, utworzyć projekt i uruchomić zadanie. Wykonując poniższe czynności, utworzysz zadanie TextClassifier.
Aby zaimportować i skompilować przykładowy projekt kodu:
Otwórz terminal, skopiuj repozytorium MediaPipe Example i przejdź do katalogu zawierającego
TextClassifier.xcodeproj
orazPodfile
.git clone https://github.com/google-ai-edge/mediapipe-samples cd mediapipe/examples/text_classification/ios
Instalowanie zadań MediaPipe za pomocą CocoaPods:
pod install
To polecenie tworzy plik
TextClassifier.xcworkspace
w katalogu przykładowego projektu.Kliknij dwukrotnie plik
TextClassifier.xcworkspace
, aby otworzyć projekt w Xcode. Jeśli plikTextClassifier.xcodeproj
jest już otwarty, zamknij go przed otwarciem plikuTextClassifier.xcworkspace
.Wybierz schemat
TextClassifier
i na pasku narzędzi okna projektu wybierz fizyczne urządzenie z iOS lub symulator. Jeśli korzystasz z fizycznego urządzenia z iOS, sprawdź, czy jest podłączone do Maca.Kliknij przycisk
Run
na pasku narzędzi projektu.
Więcej instrukcji uruchamiania aplikacji na Xcode znajdziesz w artykule o tworzeniu i uruchamianiu aplikacji.
Zależności zadań MediaPipe
MediaPipe Tasks zawiera 2 gotowe biblioteki do rozpoznawania obrazu i tekstu. Plik modelu .tflite
musi znajdować się w pakiecie aplikacji na iOS, która korzysta z modelu. W zależności od platformy MediaPipe Tas dodaj bibliotekę wizję lub tekstową do listy podów w elemencie Podfile
CocoaPods. Instrukcje tworzenia Podfile
z podami wymaganymi dla Twojej aplikacji znajdziesz w artykule Korzystanie z CocoaPods.
Zadania generatywnej AI
Biblioteki generatywnej AI MediaPipe Listy zadań zawierają zadania, które obsługują generowanie obrazów lub tekstu. Aby zainstalować bibliotekę generatywnej AI MediaPipe Tasks, dodaj pody MediaPipeTasksGenAI
i MediaPipeTasksGenAIC
do miejsca docelowego aplikacji w Podfile
.
Interfejs LLM Inference API
Zadanie MediaPipe LLM Inference jest zawarte w podach MediaPipeTasksGenAI
i MediaPipeTasksGenAIC
.
target 'MyLlmInferenceApp' do
use_frameworks!
pod 'MediaPipeTasksGenAI'
pod 'MediaPipeTasksGenAIC'
end
Zadania związane z widocznością
Biblioteka obrazów MediaPipe Tasks zawiera zadania obsługujące dane wejściowe graficzne lub wideo. Aby zainstalować bibliotekę wizji MediaPipe Tasks, dodaj pod MediaPipeTasksVision
do miejsca docelowego aplikacji w Podfile
.
target 'MyAppWithMediaPipeTasksVision' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
Zadania tekstowe
Biblioteka tekstowa zadań MediaPipe zawiera zadania obsługujące dane językowe w formacie tekstowym. Aby zainstalować bibliotekę tekstową zadań MediaPipe, dodaj poda MediaPipeTasksText
do miejsca docelowego aplikacji w Podfile
target 'MyAppWithMediaPipeTasksText' do
use_frameworks!
pod 'MediaPipeTasksText'
end
Skonfiguruj cele testowe
Jeśli Twoja aplikacja ma środowisko testowe, upewnij się, że plik Podfile jest zgodny z jedną z tych implementacji, aby uniknąć niepożądanych zachowań podczas korzystania z biblioteki zadań MediaPipe.
Najprostszym sposobem jest upewnienie się, że cel testowy nie jest zagnieżdżony w głównym miejscu docelowym aplikacji, do którego dodano blok zadań MediaPipe.
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
end
target 'MyAppWithMediaPipeTasksTests' do
end
Jeśli cel testowy musi być umieszczony w głównym miejscu docelowym aplikacji, plik Podfile musi być zgodny z tą implementacją:
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
target 'MyAppWithMediaPipeTasksTests' do
inherit! :none
end
end
Konfiguracja BaseOptions
BaseOptions pozwala na ogólną konfigurację interfejsów MediaPipe Task API.
Nazwa opcji | Opis | Akceptowane wartości |
---|---|---|
modelAssetPath |
Ścieżka modelu do pliku modelu w pakiecie aplikacji na iOS. | Ścieżka jako ciąg znaków. |
Akceleracja sprzętowa
W systemie iOS Lista zadań MediaPipe obsługuje tylko uruchamianie modeli na standardowych procesorach procesora.
Rozwiązywanie problemów
Jeśli masz pytania techniczne związane z MediaPipe, odwiedź grupę dyskusyjną lub Stack Overflow, aby uzyskać wsparcie od społeczności. Aby zgłosić błędy lub poprosić o dodanie funkcji, zgłoś problem na GitHubie.
Jeśli potrzebujesz pomocy przy konfigurowaniu środowiska programistycznego iOS, otwórz dokumentację Apple dla deweloperów.