Cette page vous explique comment configurer votre environnement de développement pour utiliser MediaPipe. Tâches dans vos applications Android.
Appareils et plates-formes compatibles
Pour créer des applications Android avec MediaPipe Tasks, votre environnement de développement nécessite les éléments suivants:
- Android Studio avec un version recommandée d'au moins 2021.1.1 (Bumblebee) ou une autre version compatible IDE.
- SDK Android 24 ou version ultérieure
- Appareil Android disposant au moins de la version minimale du SDK. Un émulateur Android peut ne pas fonctionner pour toutes les tâches.
Configuration de l'environnement de développement
Avant d'exécuter une tâche MediaPipe sur une application Android, vous devez une application existante ou créez un projet Android Studio sur votre ordinateur local. MediaPipe s'intègre dans l'environnement d'une couche de votre application, qui contient les données d'application et la logique métier. Pour en savoir plus sur Architecture des applications Android, consultez le Guide des applications architecture.
Configuration des appareils Android
Vous devez activer les options pour les développeurs et le débogage USB sur un appareil Android physique avant de l'utiliser pour tester votre application. Pour savoir comment configurer votre appareil avec les options pour les développeurs, consultez Configurer sur l'appareil les développeurs options.
Pour les tâches qui ne nécessitent pas de caméra ni de micro, vous pouvez utiliser un Émulateur d'appareil Android au lieu d'un appareil Android physique. Instructions sur la configuration d'Android Emulator, consultez l'article Exécuter des applications sur le à l'aide de l'émulateur.
Exemple de configuration de code
Le MediaPipe Dépôt d'exemples contient des exemples d'applications Android pour chaque tâche MediaPipe. Vous pouvez créer un à partir de l'exemple de code, créez le projet, puis exécutez-le.
Pour importer et créer l'exemple de projet de code:
- Lancez Android Studio.
- Dans Android Studio, sélectionnez File > Nouveau > Importer un projet.
- Accédez au répertoire de l'exemple de code contenant le fichier
build.gradle. et sélectionnez ce répertoire, par exemple:.../mediapipe/examples/text_classification/android/build.gradle - Si Android Studio demande une synchronisation Gradle, sélectionnez OK.
- Assurez-vous que votre appareil Android est connecté à votre ordinateur et votre développeur
est activé. Cliquez sur la flèche verte
Run.
Si vous sélectionnez le répertoire approprié, Android Studio crée un projet et
le crée. Cette opération peut prendre quelques minutes, en fonction de la vitesse
ordinateur et si vous avez utilisé Android Studio pour d'autres projets. Lorsque la compilation
est terminée, Android Studio affiche le message BUILD SUCCESSFUL dans
Panneau d'état Build Output (Sortie de compilation)
Pour exécuter le projet:
- Dans Android Studio, exécutez le projet en sélectionnant Run > Exécuter...
- Sélectionnez un appareil Android (ou un émulateur) connecté pour tester l'application.
Dépendances MediaPipe Tasks
MediaPipe Tasks fournit trois bibliothèques prédéfinies pour la vision, le texte et l'audio. La
Le fichier de modèle .tflite doit se trouver dans le répertoire d'éléments d'Android
qui utilise le modèle. Selon la tâche MediaPipe utilisée par l'application, ajoutez
la bibliothèque d'images, de texte ou audio à la liste des dépendances
build.gradle.
Tâches d'IA générative
Les bibliothèques d'IA générative de MediaPipe Tasks contiennent des tâches qui traitent
la génération de texte. Pour importer les bibliothèques d'IA générative MediaPipe Tasks dans
Android Studio : ajoutez les dépendances à votre fichier build.gradle.
Générateur d'images
La tâche de génération d'images MediaPipe se trouve dans la section
bibliothèque tasks-vision-image-generator. Ajoutez la dépendance à votre
Fichier build.gradle:
dependencies {
implementation 'com.google.mediapipe:tasks-vision-image-generator:latest.release'
}
API LLM Inference
La tâche d'inférence LLM MediaPipe est contenue dans tasks-genai
bibliothèque. Ajoutez la dépendance à votre fichier build.gradle:
dependencies {
implementation 'com.google.mediapipe:tasks-genai:latest.release'
}
Tâches visuelles
La bibliothèque MediaPipe Tasks Vision contient des tâches qui gèrent des images ou des vidéos
d'entrée. Pour importer la bibliothèque MediaPipe Tasks Vision dans Android Studio, ajoutez le
les dépendances suivantes à votre fichier build.gradle:
dependencies {
implementation 'com.google.mediapipe:tasks-vision:latest.release'
}
Tâches liées au texte
La bibliothèque de texte MediaPipe Tasks contient des tâches qui traitent des données de langue dans
format texte. Pour importer la bibliothèque de texte MediaPipe Tasks dans Android Studio, ajoutez
les dépendances suivantes à votre fichier build.gradle:
dependencies {
implementation 'com.google.mediapipe:tasks-text:latest.release'
}
Tâches audio
La bibliothèque audio MediaPipe Tasks contient des tâches qui gèrent les entrées audio. À
importez la bibliothèque audio MediaPipe Tasks dans Android Studio, ajoutez ce qui suit :
dépendances à votre fichier build.gradle:
dependencies {
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
Configuration de BaseOptions
Le fichier BaseOptions permet une configuration générale des API MediaPipe Tasks.
| Nom de l'option | Description | Valeurs acceptées |
|---|---|---|
modelAssetBuffer |
Contenu du fichier d'éléments du modèle sous forme de ByteBuffer ou de MappedByteBuffer direct. |
ByteBuffer ou MappedByteBuffer sous forme de chaîne |
modelAssetPath |
Chemin d'accès du modèle à un fichier d'éléments de modèle dans le dossier d'éléments d'application Android. | Chemin d'accès au fichier sous forme de chaîne |
modelAssetFileDescriptor |
Entier du descripteur de fichier natif d'un fichier d'éléments de modèle. | Entier spécifiant le descripteur de fichier |
Delegate |
Active l'accélération matérielle via un délégué d'appareil afin d'exécuter le pipeline MediaPipe. Valeur par défaut : CPU |
[CPU,GPU] |
Accélération matérielle
MediaPipe Tasks prend en charge l'utilisation de processeurs graphiques (GPU) pour exécuter des modèles de machine learning. Sur les appareils Android, vous pouvez activer l'accès L'exécution de vos modèles est accélérée par le GPU à l'aide d'un délégué. Les délégués agissent en tant que pilotes matériels pour MediaPipe, qui vous permettent d'exécuter vos modèles sur des GPU au lieu des processeurs standards.
Configurez le délégué de GPU dans les options de tâche via BaseOptions:
BaseOptions baseOptions = BaseOptions.builder().useGpu().build();
Dépannage
Pour obtenir de l'aide sur des questions techniques concernant MediaPipe, consultez la discussion group ou Stack Dépassement pour obtenir de l'aide la communauté. Pour signaler des bugs ou demander des fonctionnalités, signalez un problème sur GitHub
Pour obtenir de l'aide pour la configuration de votre environnement de développement Android, consultez le documentation destinée aux développeurs.