Przewodnik po konfiguracji Androida

Z tej strony dowiesz się, jak skonfigurować środowisko programistyczne pod kątem korzystania z MediaPipe Listy zadań w aplikacjach na Androida.

Obsługiwane urządzenia i platformy

Tworzenie aplikacji na Androida za pomocą MediaPipe Tasks wymaga tych elementów:

  • Android Studio z zalecana wersja co najmniej 2021.1.1 (Bumblebee) lub inna zgodna IDE.
  • Pakiet SDK na Androida w wersji 24 lub nowszej
  • urządzenie z Androidem i zainstalowaną co najmniej wersją pakietu SDK. Emulator Androida Funkcja może nie działać w przypadku niektórych zadań.

Konfiguracja środowiska programistycznego

Przed uruchomieniem zadania MediaPipe w aplikacji na Androida musisz mieć istniejącą aplikację lub utwórz nowy projekt Android Studio na komputerze lokalnym. MediaPipe można wykorzystać do analizy danych warstwa aplikacji, który zawiera dane aplikacji i logikę biznesową. Więcej informacji na temat: Architektura aplikacji na Androida, patrz Przewodnik po aplikacji .

Konfiguracja urządzenia z Androidem

Musisz włączyć Opcje programisty i debugowanie USB na fizycznym urządzeniu z Androidem. przed użyciem do testowania aplikacji. Instrukcje konfigurowania na urządzeniu z opcjami programisty – patrz Konfigurowanie programisty na urządzeniu .

Do zadań, które nie wymagają aparatu ani mikrofonu urządzenia, możesz użyć Emulator urządzenia z Androidem, a nie fizyczne urządzenie z Androidem. Instrukcje więcej informacji na temat konfigurowania emulatora Androida znajdziesz w sekcji Uruchamianie aplikacji na urządzeniu z Androidem Emulator.

Przykładowa konfiguracja kodu

Narzędzie MediaPipe Repozytorium z przykładami zawiera przykładowe aplikacje na Androida do każdego zadania MediaPipe. Możesz utworzyć z przykładowego kodu, skompiluj projekt i uruchom go.

Aby zaimportować i skompilować przykładowy projekt kodu:

  1. Uruchom Android Studio.
  2. W Android Studio wybierz kolejno Plik > Nowe > Importuj projekt.
  3. Przejdź do katalogu przykładowego kodu zawierającego plik build.gradle i wybierz ten katalog. Na przykład: .../mediapipe/examples/text_classification/android/build.gradle
  4. Jeśli Android Studio żąda synchronizacji z Gradle, kliknij OK.
  5. Upewnij się, że urządzenie z Androidem jest połączone z komputerem i z deweloperem jest włączony. Kliknij zieloną strzałkę Run.

Jeśli wybierzesz właściwy katalog, Android Studio utworzy nowy projekt. do jego stworzenia. Ten proces może potrwać kilka minut, w zależności od szybkości na komputerze i używasz Android Studio do innych projektów. Podczas tworzenia Android Studio wyświetli komunikat BUILD SUCCESSFUL w Panel stanu Dane wyjściowe kompilacji.

Aby uruchomić projekt:

  1. W Android Studio uruchom projekt, wybierając Uruchom > Uruchom....
  2. Wybierz podłączone urządzenie z Androidem (lub emulator), aby przetestować aplikację.

Zależności zadań MediaPipe

MediaPipe Tasks udostępnia 3 gotowe biblioteki do rozpoznawania treści, tekstu i dźwięku. Plik modelu .tflite musi znajdować się w katalogu zasobów Androida który korzysta z modelu. W zależności od zadania MediaPipe używanego przez aplikację dodaj do wizji, tekstu lub biblioteki audio. build.gradle.

Zadania generatywnej AI

Biblioteki generatywnej AI MediaPipe Tasks zawierają zadania, które obsługują obrazy lub generowanie tekstu. Aby zaimportować biblioteki generatywnej AI w zadaniach MediaPipe Android Studio, dodaj zależności do pliku build.gradle.

Generator obrazów

Zadanie Generator obrazów MediaPipe znajduje się w sekcji Biblioteka tasks-vision-image-generator. Dodaj zależność do parametru Plik build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}

Interfejs LLM Inference API

Zadanie wnioskowania z użyciem MediaPipe LLM znajduje się w: tasks-genai bibliotece. Dodaj zależność do pliku build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:latest.release'
}

Zadania związane z widocznością

Biblioteka Vision MediaPipe Tasks zawiera zadania obsługujące obrazy i filmy danych wejściowych. Aby zaimportować bibliotekę MediaPipe Tasks w Android Studio, dodaj do te zależności do pliku build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

Zadania związane z tekstem

Biblioteka tekstowa MediaPipe Tasks zawiera zadania, które obsługują dane językowe w w formacie tekstowym. Aby zaimportować bibliotekę tekstową MediaPipe Tasks w Android Studio, dodaj te zależności od pliku build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-text:latest.release'
}

Zadania związane z dźwiękiem

Biblioteka audio MediaPipe Tasks zawiera zadania, które obsługują wejścia dźwięku. Do zaimportuj bibliotekę audio MediaPipe Tasks w Android Studio, dodaj zależności w pliku build.gradle:

dependencies {
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Konfiguracja BaseOptions

BaseOptions umożliwia ogólną konfigurację interfejsów MediaPipe Task API.

Nazwa opcji Opis Akceptowane wartości
modelAssetBuffer Zawartość pliku zasobu modelu w formie bezpośredniej ByteBuffer lub MappedByteBuffer. ByteBuffer lub MappedByteBuffer jako ciąg znaków
modelAssetPath Ścieżka modelu do pliku zasobu modelu w folderze komponentów z aplikacją na Androida. Ścieżka pliku w postaci ciągu znaków
modelAssetFileDescriptor Liczba całkowita deskryptora pliku natywnego pliku zasobu modelu. Liczba całkowita określająca deskryptor pliku
Delegate Umożliwia akcelerację sprzętową przez przedstawiciela urządzenia w celu uruchomienia potoku MediaPipe. Wartość domyślna: CPU. [CPU,
GPU]

Akceleracja sprzętowa

MediaPipe Tasks obsługuje procesory graficzne (GPU) i modele systemów uczących się. Na urządzeniach z Androidem możesz włączyć Przyspieszone przez GPU wykonywanie modeli przy użyciu przedstawiciela. Przedstawiciele działają jako sterowniki sprzętowe dla MediaPipe umożliwiające uruchamianie modeli z procesorami graficznymi z procesorami standardowymi zamiast standardowych.

Skonfiguruj przekazywanie dostępu do GPU w opcjach zadań w BaseOptions:

BaseOptions baseOptions = BaseOptions.builder().useGpu().build();

Rozwiązywanie problemów

Aby uzyskać pomoc dotyczącą kwestii technicznych związanych z MediaPipe, zapoznaj się z dyskusją na ten temat grupa lub Stos Overflow, aby uzyskać pomoc od dla społeczności. Aby zgłosić błędy lub poprosić o dodanie funkcji, zgłoś problem na GitHub.

Pomoc w konfigurowaniu środowiska programistycznego Androida znajdziesz w artykule na temat dokumentacji dla deweloperów.