Руководство по настройке для iOS

На этой странице показано, как настроить среду разработки для использования задач MediaPipe в приложениях iOS.

Поддерживаемые устройства и платформы

Для создания приложений iOS с помощью задач MediaPipe в вашей среде разработки требуется следующее:

  • macOS Mojave 10.14.3 или более поздней версии.

  • Xcode 10.3 или выше.

  • iOS-устройство с версией iOS 12.0 или выше. Альтернативно, симулятор iOS может обрабатывать приложения, не требующие камеры устройства.

Настройка среды разработчика

Прежде чем запускать задачу MediaPipe в приложении iOS, вам необходимо либо иметь существующий проект Xcode, либо создать новый на локальном компьютере.

Задачи MediaPipe можно установить только с помощью CocoaPods . Перед началом работы необходимо установить CocoaPods 1.12.1 или более позднюю версию. Инструкции по установке CocoaPods на macOS см. в руководстве по установке CocoaPods .

Пример настройки кода

Репозиторий примеров MediaPipe содержит примеры приложений iOS для задач MediaPipe.

Вы можете создать проект из примера кода, собрать проект и запустить задачу. Следующие шаги создают задачу классификатора текста .

Чтобы импортировать и построить проект примера кода:

  1. Откройте терминал, клонируйте репозиторий примеров MediaPipe и перейдите в каталог, содержащий TextClassifier.xcodeproj и Podfile .

    git clone https://github.com/google-ai-edge/mediapipe-samples
cd mediapipe-samples/examples/text_classification/ios

  2. Установите задачи MediaPipe с помощью CocoaPods:

    pod install

    Эта команда создает файл TextClassifier.xcworkspace в каталоге примера проекта.

  3. Дважды щелкните файл TextClassifier.xcworkspace , чтобы открыть проект в Xcode. Если файл TextClassifier.xcodeproj уже открыт, закройте его перед открытием файла TextClassifier.xcworkspace .

  4. Выберите схему TextClassifier и выберите физическое устройство iOS или симулятор на панели инструментов окна вашего проекта. При использовании физического устройства iOS убедитесь, что оно подключено к вашему Mac.

  5. Нажмите кнопку Run на панели инструментов вашего проекта.

Дополнительные инструкции по запуску приложения в Xcode см. в разделе Создание и запуск приложения .

Зависимости задач MediaPipe

MediaPipe Tasks предоставляет две готовые библиотеки для изображения и текста. Файл модели .tflite должен находиться в комплекте приложения iOS, использующего модель. В зависимости от задач MediaPipe добавьте либо библиотеку видения, либо текстовую библиотеку в список модулей в Podfile CocoaPods. Инструкции по созданию Podfile с необходимыми модулями для вашего приложения см. в разделе Использование CocoaPods .

Генеративные задачи ИИ

Библиотеки генеративного искусственного интеллекта MediaPipe Tasks содержат задачи, которые обрабатывают генерацию изображений или текста. Чтобы установить библиотеку генеративного искусственного интеллекта MediaPipe Tasks, добавьте модули MediaPipeTasksGenAI и MediaPipeTasksGenAIC к цели вашего приложения в Podfile .

API вывода LLM

Задача вывода MediaPipe LLM содержится в модулях MediaPipeTasksGenAI и MediaPipeTasksGenAIC .

target 'MyLlmInferenceApp' do
  use_frameworks!
  pod 'MediaPipeTasksGenAI'
  pod 'MediaPipeTasksGenAIC'
end

Видение задач

Библиотека визуализации MediaPipe Tasks содержит задачи, которые обрабатывают входные изображения или видео. Чтобы установить библиотеку видений MediaPipe Tasks, добавьте модуль MediaPipeTasksVision к цели вашего приложения в Podfile .

target 'MyAppWithMediaPipeTasksVision' do
  use_frameworks!
  pod 'MediaPipeTasksVision'
end

Текстовые задачи

Текстовая библиотека задач MediaPipe содержит задачи, которые обрабатывают языковые данные в текстовом формате. Чтобы установить текстовую библиотеку задач MediaPipe, добавьте модуль MediaPipeTasksText к цели вашего приложения в Podfile

target 'MyAppWithMediaPipeTasksText' do
  use_frameworks!
  pod 'MediaPipeTasksText'
end

Настройка целей тестирования

Если у вашего приложения есть цель тестирования, убедитесь, что ваш Podfile соответствует любой из следующих реализаций, чтобы избежать нежелательного поведения при использовании библиотеки задач MediaPipe.

Самая простая реализация — гарантировать, что цель теста не вложена в цель основного приложения, которая добавляет модуль задач MediaPipe.

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'
end

target 'MyAppWithMediaPipeTasksTests' do

end

Если цель теста должна быть вложена в цель основного приложения, подфайл должен соответствовать следующей реализации:

target 'MyAppWithMediaPipeTasks' do
  pod 'MediaPipeTasksVision'

    target 'MyAppWithMediaPipeTasksTests' do
      inherit! :none

    end
end

Конфигурация базовых опций

BaseOptions позволяют выполнять общую настройку API-интерфейсов задач MediaPipe.

Название опции Описание Принятые значения
modelAssetPath Путь модели к файлу модели в пакете приложения iOS. Путь как строка.

Аппаратное ускорение

В iOS задачи MediaPipe поддерживают запуск моделей только на стандартных процессорах ЦП.

Поиск неисправностей

Для получения помощи по техническим вопросам, связанным с MediaPipe, посетите дискуссионную группу или Stack Overflow для получения поддержки со стороны сообщества. Чтобы сообщить об ошибках или сделать запрос на добавление новых функций, сообщите о проблеме на GitHub .

Для получения помощи по настройке среды разработки iOS посетите документацию Apple Developer Documentation .