На этой странице показано, как настроить среду разработки для использования задач MediaPipe в приложениях iOS.
Поддерживаемые устройства и платформы
Для создания приложений iOS с помощью задач MediaPipe в вашей среде разработки требуется следующее:
macOS Mojave 10.14.3 или более поздней версии.
Xcode 10.3 или выше.
iOS-устройство с версией iOS 12.0 или выше. Альтернативно, симулятор iOS может обрабатывать приложения, не требующие камеры устройства.
Настройка среды разработчика
Прежде чем запускать задачу MediaPipe в приложении iOS, вам необходимо либо иметь существующий проект Xcode, либо создать новый на локальном компьютере.
Задачи MediaPipe можно установить только с помощью CocoaPods . Перед началом работы необходимо установить CocoaPods 1.12.1 или более позднюю версию. Инструкции по установке CocoaPods на macOS см. в руководстве по установке CocoaPods .
Пример настройки кода
Репозиторий примеров MediaPipe содержит примеры приложений iOS для задач MediaPipe.
Вы можете создать проект из примера кода, собрать проект и запустить задачу. Следующие шаги создают задачу классификатора текста .
Чтобы импортировать и построить проект примера кода:
Откройте терминал, клонируйте репозиторий примеров MediaPipe и перейдите в каталог, содержащий
TextClassifier.xcodeproj
иPodfile
.git clone https://github.com/google-ai-edge/mediapipe-samples cd mediapipe/examples/text_classification/ios
Установите задачи MediaPipe с помощью CocoaPods:
pod install
Эта команда создает файл
TextClassifier.xcworkspace
в каталоге примера проекта.Дважды щелкните файл
TextClassifier.xcworkspace
, чтобы открыть проект в Xcode. Если файлTextClassifier.xcodeproj
уже открыт, закройте его перед открытием файлаTextClassifier.xcworkspace
.Выберите схему
TextClassifier
и выберите физическое устройство iOS или симулятор на панели инструментов окна вашего проекта. При использовании физического устройства iOS убедитесь, что оно подключено к вашему Mac.Нажмите кнопку
Run
на панели инструментов вашего проекта.
Дополнительные инструкции по запуску приложения в Xcode см. в разделе Создание и запуск приложения .
Зависимости задач MediaPipe
MediaPipe Tasks предоставляет две готовые библиотеки для изображения и текста. Файл модели .tflite
должен находиться в комплекте приложения iOS, использующего модель. В зависимости от задач MediaPipe добавьте либо библиотеку видения, либо текстовую библиотеку в список модулей в Podfile
CocoaPods. Инструкции по созданию Podfile
с необходимыми модулями для вашего приложения см. в разделе Использование CocoaPods .
Генеративные задачи ИИ
Библиотеки генеративного искусственного интеллекта MediaPipe Tasks содержат задачи, которые обрабатывают генерацию изображений или текста. Чтобы установить библиотеку генеративного искусственного интеллекта MediaPipe Tasks, добавьте модули MediaPipeTasksGenAI
и MediaPipeTasksGenAIC
к цели вашего приложения в Podfile
.
API вывода LLM
Задача вывода MediaPipe LLM содержится в модулях MediaPipeTasksGenAI
и MediaPipeTasksGenAIC
.
target 'MyLlmInferenceApp' do
use_frameworks!
pod 'MediaPipeTasksGenAI'
pod 'MediaPipeTasksGenAIC'
end
Видение задач
Библиотека визуализации MediaPipe Tasks содержит задачи, которые обрабатывают входные изображения или видео. Чтобы установить библиотеку видений MediaPipe Tasks, добавьте модуль MediaPipeTasksVision
к цели вашего приложения в Podfile
.
target 'MyAppWithMediaPipeTasksVision' do
use_frameworks!
pod 'MediaPipeTasksVision'
end
Текстовые задачи
Текстовая библиотека задач MediaPipe содержит задачи, которые обрабатывают языковые данные в текстовом формате. Чтобы установить текстовую библиотеку задач MediaPipe, добавьте модуль MediaPipeTasksText
к цели вашего приложения в Podfile
target 'MyAppWithMediaPipeTasksText' do
use_frameworks!
pod 'MediaPipeTasksText'
end
Настройка целей тестирования
Если у вашего приложения есть цель тестирования, убедитесь, что ваш Podfile соответствует любой из следующих реализаций, чтобы избежать нежелательного поведения при использовании библиотеки задач MediaPipe.
Самая простая реализация — гарантировать, что цель теста не вложена в цель основного приложения, которая добавляет модуль задач MediaPipe.
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
end
target 'MyAppWithMediaPipeTasksTests' do
end
Если цель теста должна быть вложена в цель основного приложения, подфайл должен соответствовать следующей реализации:
target 'MyAppWithMediaPipeTasks' do
pod 'MediaPipeTasksVision'
target 'MyAppWithMediaPipeTasksTests' do
inherit! :none
end
end
Конфигурация базовых опций
BaseOptions позволяют выполнять общую настройку API-интерфейсов задач MediaPipe.
Название опции | Описание | Принятые значения |
---|---|---|
modelAssetPath | Путь модели к файлу модели в пакете приложения iOS. | Путь как строка. |
Аппаратное ускорение
В iOS задачи MediaPipe поддерживают запуск моделей только на стандартных процессорах ЦП.
Поиск неисправностей
Для получения помощи по техническим вопросам, связанным с MediaPipe, посетите дискуссионную группу или Stack Overflow для получения поддержки со стороны сообщества. Чтобы сообщить об ошибках или сделать запрос на добавление новых функций, сообщите о проблеме на GitHub .
Для получения помощи по настройке среды разработки iOS посетите документацию Apple Developer Documentation .