Auf dieser Seite erfahren Sie, wie Sie Ihre Entwicklungsumgebung für die Verwendung von MediaPipe-Tasks in Ihren Android-Anwendungen einrichten.
Unterstützte Geräte und Plattformen
Zum Erstellen von Android-Anwendungen mit MediaPipe Tasks ist für Ihre Entwicklungsumgebung Folgendes erforderlich:
- Android Studio mit einer empfohlenen Version von mindestens 2021.1.1 (Bumblebee) oder einer anderen kompatiblen IDE.
- Android SDK 24 oder höher
- Android-Gerät mit der SDK-Mindestversion. Ein Android-Emulator funktioniert möglicherweise nicht für alle Aufgaben.
Einrichtung der Entwicklungsumgebung
Bevor Sie eine MediaPipe-Aufgabe in einer Android-App ausführen, müssen Sie entweder eine vorhandene App haben oder ein neues Android Studio-Projekt auf Ihrem lokalen Computer erstellen. MediaPipe passt in die Datenschicht Ihrer Anwendung, die die Anwendungsdaten und die Geschäftslogik enthält. Weitere Informationen zur Architektur von Android-Apps findest du im Leitfaden zur App-Architektur.
Einrichtung von Android-Geräten
Du musst die Entwickleroptionen und das USB-Debugging auf einem physischen Android-Gerät aktivieren, bevor du es zum Testen deiner App verwenden kannst. Eine Anleitung zur Konfiguration Ihres Geräts mit Entwickleroptionen finden Sie unter Entwickleroptionen auf dem Gerät konfigurieren.
Für Aufgaben, für die keine Kamera oder Mikrofon des Geräts erforderlich sind, können Sie anstelle eines physischen Android-Geräts einen Android-Geräteemulator verwenden. Eine Anleitung zum Einrichten eines Android-Emulators finden Sie unter Apps im Android-Emulator ausführen.
Einrichtung des Beispielcodes
Das MediaPipe-Beispiel-Repository enthält Android-Beispielanwendungen für jede MediaPipe-Aufgabe. Sie können ein Projekt aus dem Beispielcode erstellen, das Projekt erstellen und dann ausführen.
So importieren und erstellen Sie das Beispielcodeprojekt:
- Starten Sie Android Studio.
- Wählen Sie in Android Studio File > New > Import Project aus.
- Rufen Sie das Verzeichnis mit dem Beispielcode auf, das die Datei
build.gradle
enthält, und wählen Sie dieses Verzeichnis aus. Beispiel:.../mediapipe/examples/text_classification/android/build.gradle
- Wenn Android Studio eine Gradle-Synchronisierung anfordert, wählen Sie OK aus.
- Prüfen Sie, ob Ihr Android-Gerät mit Ihrem Computer verbunden und der Entwicklermodus aktiviert ist. Klicken Sie auf den grünen
Run
-Pfeil.
Wenn Sie das richtige Verzeichnis auswählen, erstellt Android Studio ein neues Projekt und erstellt es. Dieser Vorgang kann je nach Geschwindigkeit Ihres Computers und davon, ob Sie Android Studio für andere Projekte verwendet haben, einige Minuten dauern. Wenn der Build abgeschlossen ist, zeigt Android Studio im Statusbereich Build-Ausgabe die Meldung BUILD SUCCESSFUL
an.
So führen Sie das Projekt aus:
- Führen Sie das Projekt in Android Studio aus, indem Sie Run > Run... (Ausführen > Ausführen...) auswählen.
- Wähle ein angeschlossenes Android-Gerät oder einen Emulator aus, um die App zu testen.
Abhängigkeiten von MediaPipe Tasks
MediaPipe Tasks bietet drei vorgefertigte Bibliotheken für Vision, Text und Audio. Die Modelldatei .tflite
muss sich im Asset-Verzeichnis des Android-Moduls befinden, das das Modell verwendet. Fügen Sie je nach der von der Anwendung verwendeten MediaPipe-Aufgabe die Vision-, Text- oder Audio-Bibliothek der Liste der Abhängigkeiten in der Datei build.gradle
hinzu.
Aufgaben mit generativer KI
Die generativen KI-Bibliotheken von MediaPipe Tasks enthalten Aufgaben, die die Bild- oder Textgenerierung verarbeiten. Fügen Sie die Abhängigkeiten in die Datei build.gradle
ein, um die generativen KI-Bibliotheken von MediaPipe Tasks in Android Studio zu importieren.
Bildgenerator
Die Aufgabe „MediaPipe Image Generator“ ist in der Bibliothek tasks-vision-image-generator
enthalten. Fügen Sie die Abhängigkeit in die Datei build.gradle
ein:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
LLM Inference API
Die LLM-Inferenzaufgabe „MediaPipe“ ist in der Bibliothek tasks-genai
enthalten. Fügen Sie die Abhängigkeit in die Datei build.gradle
ein:
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
Sehaufgaben
Die Vision-Bibliothek von MediaPipe Tasks enthält Aufgaben, die Bild- oder Videoeingaben verarbeiten. Fügen Sie der Datei build.gradle
die folgenden Abhängigkeiten hinzu, um die Vision-Bibliothek von MediaPipe Tasks in Android Studio zu importieren:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
SMS-Aufgaben
Die Textbibliothek „MediaPipe Tasks“ enthält Aufgaben, die Sprachdaten im Textformat verarbeiten. Fügen Sie der Datei build.gradle
die folgenden Abhängigkeiten hinzu, um die Textbibliothek „MediaPipe Tasks“ in Android Studio zu importieren:
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
Audioaufgaben
Die Audiobibliothek „MediaPipe Tasks“ enthält Aufgaben, die Toneingaben verarbeiten. Fügen Sie der Datei build.gradle
die folgenden Abhängigkeiten hinzu, um die Audiobibliothek „MediaPipe Tasks“ in Android Studio zu importieren:
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
BaseOptions-Konfiguration
Die BaseOptions
ermöglichen die allgemeine Konfiguration von MediaPipe Task APIs.
Optionsname | Beschreibung | Gültige Werte |
---|---|---|
modelAssetBuffer |
Der Inhalt der Modell-Asset-Datei als direkte ByteBuffer oder MappedByteBuffer . |
ByteBuffer oder MappedByteBuffer als String |
modelAssetPath |
Der Modellpfad zu einer Modell-Asset-Datei im Asset-Ordner einer Android-App. | Dateipfad als String |
modelAssetFileDescriptor |
Die Ganzzahl für den nativen Dateideskriptor einer Modell-Asset-Datei. | Ganzzahl zur Angabe des Dateideskriptors |
Delegate |
Aktiviert die Hardwarebeschleunigung über einen Gerätedelegat zum Ausführen der MediaPipe-Pipeline. Standardwert: CPU . |
[CPU ,GPU ] |
Hardwarebeschleunigung
MediaPipe Tasks unterstützt die Verwendung von Grafikprozessoren (GPUs) zum Ausführen von Modellen für maschinelles Lernen. Auf Android-Geräten können Sie die GPU-beschleunigte Ausführung Ihrer Modelle mit einem Delegaten aktivieren. Delegate fungieren als Hardwaretreiber für MediaPipe, sodass Sie Ihre Modelle auf GPU-Prozessoren anstelle der Standard-CPU-Prozessoren ausführen können.
Konfigurieren Sie den GPU-Delegaten in den Aufgabenoptionen über BaseOptions
:
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
Fehlerbehebung
Bei technischen Fragen zu MediaPipe besuchen Sie das Diskussionsgruppe oder Stack Overflow, um Unterstützung von der Community zu erhalten. Wenn Sie Fehler melden oder Funktionsanfragen stellen möchten, melden Sie ein Problem auf GitHub.
Informationen zum Einrichten der Android-Entwicklungsumgebung finden Sie in der Dokumentation für Android-Entwickler.