На этой странице показано, как настроить среду разработки для использования задач MediaPipe в ваших веб-приложениях JavaScript.
Поддерживаемые платформы и версии
Для создания веб-приложений с помощью задач MediaPipe в вашей среде разработки требуется следующее:
- Браузер Chrome или Safari
- Веб-приложение, использующее Node.js и NPM. Альтернативно вы можете использовать теги сценариев для доступа к задачам MediaPipe через сеть доставки контента (CDN).
Зависимости задач MediaPipe
MediaPipe Tasks предоставляет три готовые библиотеки для изображения, текста и звука. В зависимости от задачи MediaPipe, используемой приложением, импортируйте библиотеку изображений, текста или аудио в свой проект разработки.
Генеративные задачи ИИ
Модуль MediaPipe Tasks Generative AI содержит задачи, которые обрабатывают генерацию изображений или текста. Чтобы импортировать библиотеки генеративного искусственного интеллекта MediaPipe Tasks, импортируйте следующие зависимости в свой проект разработки.
API вывода LLM
Задача вывода MediaPipe LLM содержится в библиотеке tasks-genai .
npm install @mediapipe/tasks-genai
Если вы хотите выполнить развертывание на сервере, вы можете использовать службу сети доставки контента (CDN), например jsDelivr , для добавления кода непосредственно на вашу HTML-страницу.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai/genai_bundle.cjs"
crossorigin="anonymous"></script>
</head>
Видение задач
Модуль визуализации MediaPipe Tasks содержит задачи, которые обрабатывают входные изображения или видео. Чтобы импортировать библиотеку видений задач MediaPipe, импортируйте следующую зависимость в свой проект разработки.
npm install @mediapipe/tasks-vision
Если вы хотите выполнить развертывание на сервере, вы можете использовать службу сети доставки контента (CDN), например jsDelivr , для добавления кода непосредственно на вашу HTML-страницу.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
crossorigin="anonymous"></script>
</head>
Текстовые задачи
Текстовый модуль «Задачи MediaPipe» содержит задачи, которые обрабатывают строковые входные данные. Чтобы импортировать текстовую библиотеку задач MediaPipe, импортируйте следующую зависимость в свой проект разработки.
npm install @mediapipe/tasks-text
Если вы хотите выполнить развертывание на сервере, вы можете использовать службу сети доставки контента (CDN), например jsDelivr , для добавления кода непосредственно на вашу HTML-страницу.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
crossorigin="anonymous"></script>
</head>
Аудио задачи
Аудиомодуль MediaPipe Tasks содержит задачи, которые обрабатывают звуковые входы. Чтобы импортировать аудиобиблиотеку задач MediaPipe, импортируйте следующую зависимость в свой проект разработки.
npm install @mediapipe/tasks-audio
Если вы хотите выполнить развертывание на сервере, вы можете использовать службу сети доставки контента (CDN), например jsDelivr , для добавления кода непосредственно на вашу HTML-страницу.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Конфигурация базовых опций
BaseOptions позволяют выполнять общую настройку API-интерфейсов задач MediaPipe.
| Название опции | Описание | Принятые значения |
|---|---|---|
modelAssetBuffer | Содержимое файла ресурсов модели представляет собой типизированный массив Uint8Array . | Uint8Array |
modelAssetPath | Путь к активу модели, который нужно открыть и сопоставить в памяти. | TrustedResourceUrl |
Delegate | Включает аппаратное ускорение через делегата устройства для запуска конвейера MediaPipe. Значение по умолчанию: CPU . | [ CPU ,GPU ] |
Поиск неисправностей
Для получения помощи по техническим вопросам, связанным с MediaPipe, посетите дискуссионную группу или Stack Overflow для получения поддержки со стороны сообщества. Чтобы сообщить об ошибках или сделать запрос на добавление новых функций, сообщите о проблеме на GitHub .