Na tej stronie opisujemy, jak skonfigurować środowisko programistyczne, aby używać MediaPipe Tasks w aplikacjach internetowych JavaScript.
Obsługiwane platformy i wersje
Aby tworzyć aplikacje internetowe za pomocą zadań MediaPipe, w Twoim środowisku programistycznym muszą być:
- Przeglądarka Chrome lub Safari
- Aplikacja internetowa wykorzystująca Node.js i NPM. Aby uzyskać dostęp do zadań MediaPipe przez sieć dostarczania treści (CDN), możesz też użyć tagów skryptu.
Zależności zadań MediaPipe
MediaPipe Tasks zawiera 3 gotowe biblioteki do rozpoznawania obrazu, tekstu i dźwięku. W zależności od zadania MediaPipe, z którego korzysta aplikacja, zaimportuj wizję, tekst lub bibliotekę audio do projektu programistycznego.
Zadania generatywnej AI
Moduł MediaPipe Tasks z generatywną AI zawiera zadania, które obsługują generowanie obrazów lub tekstu. Aby zaimportować biblioteki generatywnej AI MediaPipe, zaimportuj te zależności do swojego projektu programistycznego.
Interfejs LLM Inference API
Zadanie MediaPipe LLM Inference jest zawarte w bibliotece tasks-genai.
npm install @mediapipe/tasks-genai
Jeśli chcesz przeprowadzić wdrożenie na serwerze, możesz użyć usługi sieci dostarczania treści (CDN), takiej jak jsDelivr, aby dodać kod bezpośrednio do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai/genai_bundle.cjs"
crossorigin="anonymous"></script>
</head>
Zadania związane z widocznością
Moduł widoku Zadań MediaPipe zawiera zadania obsługujące dane wejściowe graficzne lub wideo. Aby zaimportować bibliotekę wizji MediaPipe Tasks, zaimportuj do swojego projektu programistycznego podaną niżej zależność.
npm install @mediapipe/tasks-vision
Jeśli chcesz przeprowadzić wdrożenie na serwerze, możesz użyć usługi sieci dostarczania treści (CDN), takiej jak jsDelivr, aby dodać kod bezpośrednio do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
crossorigin="anonymous"></script>
</head>
Zadania tekstowe
Moduł tekstowy Zadania MediaPipe zawiera zadania obsługujące dane wejściowe w postaci ciągów znaków. Aby zaimportować bibliotekę tekstową zadań MediaPipe, zaimportuj do swojego projektu programistycznego zależność podaną poniżej.
npm install @mediapipe/tasks-text
Jeśli chcesz przeprowadzić wdrożenie na serwerze, możesz użyć usługi sieci dostarczania treści (CDN), takiej jak jsDelivr, aby dodać kod bezpośrednio do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
crossorigin="anonymous"></script>
</head>
Zadania związane z dźwiękiem
Moduł audio Listy zadań MediaPipe zawiera zadania obsługujące dane wejściowe dźwięku. Aby zaimportować bibliotekę audio Listy zadań MediaPipe, zaimportuj do swojego projektu programistycznego zależność podaną poniżej.
npm install @mediapipe/tasks-audio
Jeśli chcesz przeprowadzić wdrożenie na serwerze, możesz użyć usługi sieci dostarczania treści (CDN), takiej jak jsDelivr, aby dodać kod bezpośrednio do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Konfiguracja BaseOptions
BaseOptions pozwala na ogólną konfigurację interfejsów MediaPipe Task API.
| Nazwa opcji | Opis | Akceptowane wartości |
|---|---|---|
modelAssetBuffer |
Zawartość pliku zasobu modelu w postaci tablicy o typie Uint8Array. |
Uint8Array |
modelAssetPath |
Ścieżka zasobu modelu do otwarcia i zmapowania w pamięci. | TrustedResourceUrl |
Delegate |
Włącza akcelerację sprzętową za pomocą przedstawiciela urządzenia, aby uruchomić potok MediaPipe. Wartość domyślna: CPU |
[CPU,GPU] |
Rozwiązywanie problemów
Jeśli masz pytania techniczne związane z MediaPipe, odwiedź grupę dyskusyjną lub Stack Overflow, aby uzyskać wsparcie od społeczności. Aby zgłosić błędy lub poprosić o dodanie funkcji, zgłoś problem na GitHubie.