Z tej strony dowiesz się, jak skonfigurować środowisko programistyczne pod kątem korzystania z MediaPipe Listy zadań w aplikacjach na Androida.
Obsługiwane urządzenia i platformy
Tworzenie aplikacji na Androida za pomocą MediaPipe Tasks wymaga tych elementów:
- Android Studio z zalecana wersja co najmniej 2021.1.1 (Bumblebee) lub inna zgodna IDE.
- Pakiet SDK na Androida w wersji 24 lub nowszej
- urządzenie z Androidem i zainstalowaną co najmniej wersją pakietu SDK. Emulator Androida Funkcja może nie działać w przypadku niektórych zadań.
Konfiguracja środowiska programistycznego
Przed uruchomieniem zadania MediaPipe w aplikacji na Androida musisz mieć istniejącą aplikację lub utwórz nowy projekt Android Studio na komputerze lokalnym. MediaPipe można wykorzystać do analizy danych warstwa aplikacji, który zawiera dane aplikacji i logikę biznesową. Więcej informacji na temat: Architektura aplikacji na Androida, patrz Przewodnik po aplikacji .
Konfiguracja urządzenia z Androidem
Musisz włączyć Opcje programisty i debugowanie USB na fizycznym urządzeniu z Androidem. przed użyciem do testowania aplikacji. Instrukcje konfigurowania na urządzeniu z opcjami programisty – patrz Konfigurowanie programisty na urządzeniu .
Do zadań, które nie wymagają aparatu ani mikrofonu urządzenia, możesz użyć Emulator urządzenia z Androidem, a nie fizyczne urządzenie z Androidem. Instrukcje więcej informacji na temat konfigurowania emulatora Androida znajdziesz w sekcji Uruchamianie aplikacji na urządzeniu z Androidem Emulator.
Przykładowa konfiguracja kodu
Narzędzie MediaPipe Repozytorium z przykładami zawiera przykładowe aplikacje na Androida do każdego zadania MediaPipe. Możesz utworzyć z przykładowego kodu, skompiluj projekt i uruchom go.
Aby zaimportować i skompilować przykładowy projekt kodu:
- Uruchom Android Studio.
- W Android Studio wybierz kolejno Plik > Nowe > Importuj projekt.
- Przejdź do katalogu przykładowego kodu zawierającego plik
build.gradle
i wybierz ten katalog. Na przykład:.../mediapipe/examples/text_classification/android/build.gradle
- Jeśli Android Studio żąda synchronizacji z Gradle, kliknij OK.
- Upewnij się, że urządzenie z Androidem jest połączone z komputerem i z deweloperem
jest włączony. Kliknij zieloną strzałkę
Run
.
Jeśli wybierzesz właściwy katalog, Android Studio utworzy nowy projekt.
do jego stworzenia. Ten proces może potrwać kilka minut, w zależności od szybkości
na komputerze i używasz Android Studio do innych projektów. Podczas tworzenia
Android Studio wyświetli komunikat BUILD SUCCESSFUL
w
Panel stanu Dane wyjściowe kompilacji.
Aby uruchomić projekt:
- W Android Studio uruchom projekt, wybierając Uruchom > Uruchom....
- Wybierz podłączone urządzenie z Androidem (lub emulator), aby przetestować aplikację.
Zależności zadań MediaPipe
MediaPipe Tasks udostępnia 3 gotowe biblioteki do rozpoznawania treści, tekstu i dźwięku.
Plik modelu .tflite
musi znajdować się w katalogu zasobów Androida
który korzysta z modelu. W zależności od zadania MediaPipe używanego przez aplikację dodaj
do wizji, tekstu lub biblioteki audio.
build.gradle
.
Zadania generatywnej AI
Biblioteki generatywnej AI MediaPipe Tasks zawierają zadania, które obsługują obrazy lub
generowanie tekstu. Aby zaimportować biblioteki generatywnej AI w zadaniach MediaPipe
Android Studio, dodaj zależności do pliku build.gradle
.
Generator obrazów
Zadanie Generator obrazów MediaPipe znajduje się w sekcji
Biblioteka tasks-vision-image-generator
. Dodaj zależność do parametru
Plik build.gradle
:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
Interfejs LLM Inference API
Zadanie wnioskowania z użyciem MediaPipe LLM znajduje się w: tasks-genai
bibliotece. Dodaj zależność do pliku build.gradle
:
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
Zadania związane z widocznością
Biblioteka Vision MediaPipe Tasks zawiera zadania obsługujące obrazy i filmy
danych wejściowych. Aby zaimportować bibliotekę MediaPipe Tasks w Android Studio, dodaj do
te zależności do pliku build.gradle
:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Zadania związane z tekstem
Biblioteka tekstowa MediaPipe Tasks zawiera zadania, które obsługują dane językowe w
w formacie tekstowym. Aby zaimportować bibliotekę tekstową MediaPipe Tasks w Android Studio, dodaj
te zależności od pliku build.gradle
:
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
Zadania związane z dźwiękiem
Biblioteka audio MediaPipe Tasks zawiera zadania, które obsługują wejścia dźwięku. Do
zaimportuj bibliotekę audio MediaPipe Tasks w Android Studio, dodaj
zależności w pliku build.gradle
:
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
Konfiguracja BaseOptions
BaseOptions
umożliwia ogólną konfigurację interfejsów MediaPipe Task API.
Nazwa opcji | Opis | Akceptowane wartości |
---|---|---|
modelAssetBuffer |
Zawartość pliku zasobu modelu w formie bezpośredniej ByteBuffer lub MappedByteBuffer . |
ByteBuffer lub MappedByteBuffer jako ciąg znaków |
modelAssetPath |
Ścieżka modelu do pliku zasobu modelu w folderze komponentów z aplikacją na Androida. | Ścieżka pliku w postaci ciągu znaków |
modelAssetFileDescriptor |
Liczba całkowita deskryptora pliku natywnego pliku zasobu modelu. | Liczba całkowita określająca deskryptor pliku |
Delegate |
Umożliwia akcelerację sprzętową przez przedstawiciela urządzenia w celu uruchomienia potoku MediaPipe. Wartość domyślna: CPU . |
[CPU ,GPU ] |
Akceleracja sprzętowa
MediaPipe Tasks obsługuje procesory graficzne (GPU) i modele systemów uczących się. Na urządzeniach z Androidem możesz włączyć Przyspieszone przez GPU wykonywanie modeli przy użyciu przedstawiciela. Przedstawiciele działają jako sterowniki sprzętowe dla MediaPipe umożliwiające uruchamianie modeli z procesorami graficznymi z procesorami standardowymi zamiast standardowych.
Skonfiguruj przekazywanie dostępu do GPU w opcjach zadań w BaseOptions
:
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
Rozwiązywanie problemów
Aby uzyskać pomoc dotyczącą kwestii technicznych związanych z MediaPipe, zapoznaj się z dyskusją na ten temat grupa lub Stos Overflow, aby uzyskać pomoc od dla społeczności. Aby zgłosić błędy lub poprosić o dodanie funkcji, zgłoś problem na GitHub.
Pomoc w konfigurowaniu środowiska programistycznego Androida znajdziesz w artykule na temat dokumentacji dla deweloperów.