Z tej strony dowiesz się, jak skonfigurować środowisko programistyczne pod kątem korzystania z MediaPipe Listy zadań w aplikacjach internetowych JavaScript.
Obsługiwane platformy i wersje
Aby tworzyć aplikacje internetowe za pomocą MediaPipe Tasks, Twojego środowiska programistycznego wymaga:
- Przeglądarka Chrome lub Safari
- Aplikacja internetowa korzystająca z Node.js i NPM. Możesz też użyć tagi skryptu umożliwiające dostęp do zadań MediaPipe przez sieć dostarczania treści; (CDN).
Zależności zadań MediaPipe
MediaPipe Tasks udostępnia 3 gotowe biblioteki do rozpoznawania treści, tekstu i dźwięku. W zależności od zadania MediaPipe używanego w aplikacji zaimportuj obraz, tekst lub i bibliotekę audio.
Zadania generatywnej AI
Moduł generatywnej AI MediaPipe Tasks zawiera zadania, które obsługują obrazy lub generowanie tekstu. Aby zaimportować biblioteki generatywnej AI z Listy zadań MediaPipe, zaimportuj te zależności w projekcie programistycznym.
Interfejs LLM Inference API
Zadanie MediaPipe LLM Inference znajduje się w bibliotece tasks-genai.
npm install @mediapipe/tasks-genai
Jeśli chcesz wdrożyć aplikację na serwerze, możesz użyć sieci dostarczania treści (CDN). takiej jak jsDelivr, aby dodać kod bezpośrednio do do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-genai/genai_bundle.cjs"
crossorigin="anonymous"></script>
</head>
Zadania związane z widocznością
Moduł wizji MediaPipe Tasks zawiera zadania obsługujące obrazy lub filmy danych wejściowych. Aby zaimportować bibliotekę MediaPipe Tasks, zaimportuj te od Ciebie do charakteru Twojego projektu programistycznego.
npm install @mediapipe/tasks-vision
Jeśli chcesz wdrożyć aplikację na serwerze, możesz użyć sieci dostarczania treści (CDN). takiej jak jsDelivr, aby dodać kod bezpośrednio do do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-vision/vision_bundle.js"
crossorigin="anonymous"></script>
</head>
Zadania związane z tekstem
Moduł tekstowy MediaPipe Tasks zawiera zadania, które obsługują dane wejściowe w postaci ciągów znaków. Do zaimportuj bibliotekę tekstową MediaPipe Tasks, zaimportuj następującą zależność do swojego w Twój projekt programowania.
npm install @mediapipe/tasks-text
Jeśli chcesz wdrożyć aplikację na serwerze, możesz użyć sieci dostarczania treści (CDN). takiej jak jsDelivr, aby dodać kod bezpośrednio do do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-text/text_bundle.js"
crossorigin="anonymous"></script>
</head>
Zadania związane z dźwiękiem
Moduł audio MediaPipe Tasks zawiera zadania, które obsługują wejścia dźwięku. Do zaimportuj bibliotekę audio MediaPipe Tasks, zaimportuj zależność poniżej do swojego projektu programistycznego.
npm install @mediapipe/tasks-audio
Jeśli chcesz wdrożyć aplikację na serwerze, możesz użyć sieci dostarczania treści (CDN). takiej jak jsDelivr, aby dodać kod bezpośrednio do do strony HTML.
<head>
<script src="https://cdn.jsdelivr.net/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Konfiguracja BaseOptions
Interfejsy BaseOptions umożliwiają ogólną konfigurację interfejsów MediaPipe Task API.
| Nazwa opcji | Opis | Akceptowane wartości |
|---|---|---|
modelAssetBuffer |
Zawartość pliku zasobu modelu w postaci tablicy o typie Uint8Array. |
Uint8Array |
modelAssetPath |
Ścieżka zasobu modelu do otworzenia i zmapowania w pamięci. | TrustedResourceUrl |
Delegate |
Umożliwia akcelerację sprzętową przez przedstawiciela urządzenia w celu uruchomienia potoku MediaPipe. Wartość domyślna: CPU. |
[CPU,GPU] |
Rozwiązywanie problemów
Aby uzyskać pomoc dotyczącą kwestii technicznych związanych z MediaPipe, zapoznaj się z dyskusją na ten temat grupa lub Stos Overflow, aby uzyskać pomoc od dla społeczności. Aby zgłosić błędy lub poprosić o dodanie funkcji, zgłoś problem na GitHub.