Einrichtungsleitfaden für Android

Auf dieser Seite erfahren Sie, wie Sie Ihre Entwicklungsumgebung für die Verwendung von MediaPipe-Tasks in Ihren Android-Anwendungen einrichten.

Unterstützte Geräte und Plattformen

Zum Erstellen von Android-Anwendungen mit MediaPipe Tasks ist für Ihre Entwicklungsumgebung Folgendes erforderlich:

  • Android Studio mit einer empfohlenen Version von mindestens 2021.1.1 (Bumblebee) oder einer anderen kompatiblen IDE.
  • Android SDK 24 oder höher
  • Android-Gerät mit der SDK-Mindestversion. Ein Android-Emulator funktioniert möglicherweise nicht für alle Aufgaben.

Einrichtung der Entwicklungsumgebung

Bevor Sie eine MediaPipe-Aufgabe in einer Android-App ausführen, müssen Sie entweder eine vorhandene App haben oder ein neues Android Studio-Projekt auf Ihrem lokalen Computer erstellen. MediaPipe passt in die Datenschicht Ihrer Anwendung, die die Anwendungsdaten und die Geschäftslogik enthält. Weitere Informationen zur Architektur von Android-Apps findest du im Leitfaden zur App-Architektur.

Einrichtung von Android-Geräten

Du musst die Entwickleroptionen und das USB-Debugging auf einem physischen Android-Gerät aktivieren, bevor du es zum Testen deiner App verwenden kannst. Eine Anleitung zur Konfiguration Ihres Geräts mit Entwickleroptionen finden Sie unter Entwickleroptionen auf dem Gerät konfigurieren.

Für Aufgaben, für die keine Kamera oder Mikrofon des Geräts erforderlich sind, können Sie anstelle eines physischen Android-Geräts einen Android-Geräteemulator verwenden. Eine Anleitung zum Einrichten eines Android-Emulators finden Sie unter Apps im Android-Emulator ausführen.

Einrichtung des Beispielcodes

Das MediaPipe-Beispiel-Repository enthält Android-Beispielanwendungen für jede MediaPipe-Aufgabe. Sie können ein Projekt aus dem Beispielcode erstellen, das Projekt erstellen und dann ausführen.

So importieren und erstellen Sie das Beispielcodeprojekt:

  1. Starten Sie Android Studio.
  2. Wählen Sie in Android Studio File > New > Import Project aus.
  3. Rufen Sie das Verzeichnis mit dem Beispielcode auf, das die Datei build.gradle enthält, und wählen Sie dieses Verzeichnis aus. Beispiel: .../mediapipe/examples/text_classification/android/build.gradle
  4. Wenn Android Studio eine Gradle-Synchronisierung anfordert, wählen Sie OK aus.
  5. Prüfen Sie, ob Ihr Android-Gerät mit Ihrem Computer verbunden und der Entwicklermodus aktiviert ist. Klicken Sie auf den grünen Run-Pfeil.

Wenn Sie das richtige Verzeichnis auswählen, erstellt Android Studio ein neues Projekt und erstellt es. Dieser Vorgang kann je nach Geschwindigkeit Ihres Computers und davon, ob Sie Android Studio für andere Projekte verwendet haben, einige Minuten dauern. Wenn der Build abgeschlossen ist, zeigt Android Studio im Statusbereich Build-Ausgabe die Meldung BUILD SUCCESSFUL an.

So führen Sie das Projekt aus:

  1. Führen Sie das Projekt in Android Studio aus, indem Sie Run > Run... (Ausführen > Ausführen...) auswählen.
  2. Wähle ein angeschlossenes Android-Gerät oder einen Emulator aus, um die App zu testen.

Abhängigkeiten von MediaPipe Tasks

MediaPipe Tasks bietet drei vorgefertigte Bibliotheken für Vision, Text und Audio. Die Modelldatei .tflite muss sich im Asset-Verzeichnis des Android-Moduls befinden, das das Modell verwendet. Fügen Sie je nach der von der Anwendung verwendeten MediaPipe-Aufgabe die Vision-, Text- oder Audio-Bibliothek der Liste der Abhängigkeiten in der Datei build.gradle hinzu.

Aufgaben mit generativer KI

Die generativen KI-Bibliotheken von MediaPipe Tasks enthalten Aufgaben, die die Bild- oder Textgenerierung verarbeiten. Fügen Sie die Abhängigkeiten in die Datei build.gradle ein, um die generativen KI-Bibliotheken von MediaPipe Tasks in Android Studio zu importieren.

Bildgenerator

Die Aufgabe „MediaPipe Image Generator“ ist in der Bibliothek tasks-vision-image-generator enthalten. Fügen Sie die Abhängigkeit in die Datei build.gradle ein:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}

LLM Inference API

Die LLM-Inferenzaufgabe „MediaPipe“ ist in der Bibliothek tasks-genai enthalten. Fügen Sie die Abhängigkeit in die Datei build.gradle ein:

dependencies {
    implementation 'com.google.mediapipe:tasks-genai:latest.release'
}

Sehaufgaben

Die Vision-Bibliothek von MediaPipe Tasks enthält Aufgaben, die Bild- oder Videoeingaben verarbeiten. Fügen Sie der Datei build.gradle die folgenden Abhängigkeiten hinzu, um die Vision-Bibliothek von MediaPipe Tasks in Android Studio zu importieren:

dependencies {
    implementation 'com.google.mediapipe:tasks-vision:latest.release'
}

SMS-Aufgaben

Die Textbibliothek „MediaPipe Tasks“ enthält Aufgaben, die Sprachdaten im Textformat verarbeiten. Fügen Sie der Datei build.gradle die folgenden Abhängigkeiten hinzu, um die Textbibliothek „MediaPipe Tasks“ in Android Studio zu importieren:

dependencies {
    implementation 'com.google.mediapipe:tasks-text:latest.release'
}

Audioaufgaben

Die Audiobibliothek „MediaPipe Tasks“ enthält Aufgaben, die Toneingaben verarbeiten. Fügen Sie der Datei build.gradle die folgenden Abhängigkeiten hinzu, um die Audiobibliothek „MediaPipe Tasks“ in Android Studio zu importieren:

dependencies {
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

BaseOptions-Konfiguration

Die BaseOptions ermöglichen die allgemeine Konfiguration von MediaPipe Task APIs.

Optionsname Beschreibung Gültige Werte
modelAssetBuffer Der Inhalt der Modell-Asset-Datei als direkte ByteBuffer oder MappedByteBuffer. ByteBuffer oder MappedByteBuffer als String
modelAssetPath Der Modellpfad zu einer Modell-Asset-Datei im Asset-Ordner einer Android-App. Dateipfad als String
modelAssetFileDescriptor Die Ganzzahl für den nativen Dateideskriptor einer Modell-Asset-Datei. Ganzzahl zur Angabe des Dateideskriptors
Delegate Aktiviert die Hardwarebeschleunigung über einen Gerätedelegat zum Ausführen der MediaPipe-Pipeline. Standardwert: CPU. [CPU,
GPU]

Hardwarebeschleunigung

MediaPipe Tasks unterstützt die Verwendung von Grafikprozessoren (GPUs) zum Ausführen von Modellen für maschinelles Lernen. Auf Android-Geräten können Sie die GPU-beschleunigte Ausführung Ihrer Modelle mit einem Delegaten aktivieren. Delegate fungieren als Hardwaretreiber für MediaPipe, sodass Sie Ihre Modelle auf GPU-Prozessoren anstelle der Standard-CPU-Prozessoren ausführen können.

Konfigurieren Sie den GPU-Delegaten in den Aufgabenoptionen über BaseOptions:

BaseOptions baseOptions = BaseOptions.builder().useGpu().build();

Fehlerbehebung

Bei technischen Fragen zu MediaPipe besuchen Sie das Diskussionsgruppe oder Stack Overflow, um Unterstützung von der Community zu erhalten. Wenn Sie Fehler melden oder Funktionsanfragen stellen möchten, melden Sie ein Problem auf GitHub.

Informationen zum Einrichten der Android-Entwicklungsumgebung finden Sie in der Dokumentation für Android-Entwickler.