Auf dieser Seite erfahren Sie, wie Sie Ihre Entwicklungsumgebung für die Verwendung von MediaPipe einrichten. Aufgaben in Ihren Android-Apps
Unterstützte Geräte und Plattformen
Um Android-Apps mit MediaPipe Tasks zu erstellen, erfordert Folgendes:
- Android Studio mit einem empfohlene Version von mindestens 2021.1.1 (Bumblebee) oder eine andere kompatible IDE.
- Android SDK Version 24 oder höher
- Ein Android-Gerät mit mindestens der SDK-Mindestversion. Android-Emulator funktionieren möglicherweise nicht bei allen Aufgaben.
Entwicklungsumgebung einrichten
Bevor Sie eine MediaPipe-Aufgabe in einer Android-App ausführen, eine vorhandene App erstellen oder ein neues Android Studio-Projekt auf Ihrem lokalen Computer erstellen. MediaPipe passt in die Data Ebene Ihrer App, die die Anwendungsdaten und die Geschäftslogik enthält. Weitere Informationen zu Android-App-Architektur, siehe Leitfaden zur App Architektur.
Einrichtung von Android-Geräten
Sie müssen Entwickleroptionen und USB-Debugging auf einem physischen Android-Gerät aktivieren. bevor Sie Ihre Anwendung damit testen. Anweisungen zur Konfiguration Ihres Gerät mit Entwickleroptionen finden Sie unter On-Device-Entwickler konfigurieren Optionen.
Für Aufgaben, für die keine Kamera oder ein Mikrofon des Geräts erforderlich ist, können Sie ein Android-Geräteemulator anstelle eines physischen Android-Geräts. Anleitungen Informationen zur Einrichtung eines Android-Emulators finden Sie unter Apps unter Android ausführen Emulator.
Beispielcode-Einrichtung
Die MediaPipe Beispiel-Repository enthält Android-Beispielanwendungen für jede MediaPipe-Aufgabe. Sie können ein aus dem Beispielcode erstellen, das Projekt erstellen und dann ausführen.
So importieren und erstellen Sie das Beispielcodeprojekt:
- Starten Sie Android Studio.
- Wählen Sie in Android Studio File > Neu > Projekt importieren.
- Rufen Sie das Verzeichnis mit dem Beispielcode mit der Datei
build.gradle
auf. und wählen Sie dieses Verzeichnis aus. Beispiel:.../mediapipe/examples/text_classification/android/build.gradle
- Wenn Android Studio eine Gradle-Synchronisierung anfordert, wählen Sie OK aus.
- Achte darauf, dass dein Android-Gerät mit deinem Computer und dem Entwickler verbunden ist
-Modus aktiviert ist. Klicken Sie auf den grünen
Run
-Pfeil.
Wenn Sie das richtige Verzeichnis auswählen, erstellt Android Studio ein neues Projekt und
erstellt. Dieser Vorgang kann je nach Geschwindigkeit des Geräts einige Minuten dauern.
und ob Sie Android Studio bereits für andere Projekte verwendet haben. Wenn der Build
abgeschlossen ist, zeigt Android Studio eine BUILD SUCCESSFUL
-Meldung im
Statusbereich Build-Ausgabe.
So führen Sie das Projekt aus:
- Führen Sie das Projekt in Android Studio aus, indem Sie Ausführen > Ausführen...
- Wähle ein angeschlossenes Android-Gerät oder einen Emulator aus, um die App zu testen.
MediaPipe Tasks-Abhängigkeiten
MediaPipe Tasks bietet drei vorkonfigurierte Bibliotheken für Vision, Text und Audio. Die
Die Modelldatei .tflite
muss sich im Asset-Verzeichnis des Android-
das das Modell verwendet. Fügen Sie abhängig von der von der App verwendeten MediaPipe Task
der Vision-, Text- oder Audio-Bibliothek mit der Liste der Abhängigkeiten
build.gradle
-Datei.
Aufgaben mit generativer KI
Die Bibliotheken für Generative AI von MediaPipe Tasks enthalten Aufgaben, die Bilder oder
Textgenerierung. So importieren Sie die Generative AI-Bibliotheken von MediaPipe Tasks in
Android Studio fügen Sie die Abhängigkeiten zu Ihrer build.gradle
-Datei hinzu.
Bildgenerator
Die Aufgabe „MediaPipe Image Generator“ ist im
tasks-vision-image-generator
-Bibliothek. Fügen Sie die Abhängigkeit Ihrer
build.gradle
-Datei:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
LLM Inference API
Die MediaPipe-LLM-Inferenzaufgabe ist im tasks-genai
enthalten
Bibliothek. Fügen Sie die Abhängigkeit zu Ihrer build.gradle
-Datei hinzu:
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
Vision-Aufgaben
Die Vision-Bibliothek von MediaPipe Tasks enthält Aufgaben zum Verarbeiten von Bildern oder Videos.
Eingaben. Um die Vision-Bibliothek von MediaPipe Tasks in Android Studio zu importieren, fügen Sie den
folgende Abhängigkeiten in Ihre build.gradle
-Datei ein:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Textaufgaben
Die MediaPipe Tasks-Textbibliothek enthält Aufgaben, die Sprachdaten in
Textformat. Um die MediaPipe Tasks-Textbibliothek in Android Studio zu importieren, fügen Sie
die folgenden Abhängigkeiten in Ihre build.gradle
-Datei:
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
Audioaufgaben
Die Audiobibliothek von MediaPipe Tasks enthält Aufgaben, die Toneingaben verarbeiten. Bis
Importieren Sie die MediaPipe Tasks-Audiobibliothek in Android Studio und fügen Sie Folgendes hinzu:
in die Datei build.gradle
ein:
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
BaseOptions-Konfiguration
Die BaseOptions
ermöglichen die allgemeine Konfiguration von MediaPipe Task APIs.
Optionsname | Beschreibung | Gültige Werte |
---|---|---|
modelAssetBuffer |
Der Inhalt der Modell-Asset-Datei wird als direktes ByteBuffer - oder MappedByteBuffer -Element angegeben. |
ByteBuffer oder MappedByteBuffer als String |
modelAssetPath |
Der Modellpfad zu einer Modell-Asset-Datei im Asset-Ordner für Android-Apps. | Dateipfad als String |
modelAssetFileDescriptor |
Die native Dateideskriptor-Ganzzahl einer Modell-Asset-Datei. | Ganzzahl zur Angabe des Dateideskriptors |
Delegate |
Aktiviert die Hardwarebeschleunigung über einen Gerätedelegierten, um die MediaPipe-Pipeline auszuführen. Standardwert: CPU . |
[CPU ,GPU ] |
Hardwarebeschleunigung
MediaPipe Tasks unterstützt die Verwendung von Grafikprozessoren (Graphics Processing Units, GPUs) zur Ausführung Modelle für maschinelles Lernen. Auf Android-Geräten können Sie die Verwendung von GPU-beschleunigte Ausführung Ihrer Modelle mit einem Delegaten. Bevollmächtigte agieren als Hardwaretreiber für MediaPipe, mit denen Sie Ihre Modelle auf GPU ausführen können Standard-CPU-Prozessoren verwendet werden.
Konfigurieren Sie den GPU-Delegaten in den Aufgabenoptionen über BaseOptions
:
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
Fehlerbehebung
Hilfe bei technischen Fragen zu MediaPipe erhalten Sie in der Gruppe oder Stack Überlauf für Support von Community. Wenn Sie Fehler melden oder Funktionsanfragen stellen möchten, melden Sie ein Problem auf GitHub
Hilfe bei der Einrichtung Ihrer Android-Entwicklungsumgebung erhalten Sie in der Android-Hilfe Entwicklerdokumentation.