Présentation de LiteRT: l'environnement d'exécution Google hautes performances pour l'IA sur l'appareil, anciennement connu sous le nom de TensorFlow Lite.

Cette page a été traduite par l'API Cloud Translation.

Guide de classification audio pour le Web

La tâche de classification audio MediaPipe vous permet d'effectuer une classification sur des données audio. Vous pouvez utilisez cette tâche pour identifier les événements sonores à partir d'un ensemble de catégories entraînées. Ces vous expliquent comment utiliser le classificateur audio pour les applications Node et Web.

Pour voir concrètement en quoi consiste cette tâche, consultez le demo. Pour en savoir plus sur les fonctionnalités, les modèles et les options de configuration de cette tâche, consultez la section Présentation.

Exemple de code

L'exemple de code pour le classificateur audio fournit une implémentation complète de ce en JavaScript à titre de référence. Ce code vous aide à tester cette tâche et commencez à créer votre propre application de classification audio. Vous pouvez afficher, exécuter et modifiez le Exemple de code pour le classificateur audio en utilisant uniquement votre navigateur Web.

Configuration

Cette section décrit les étapes clés à suivre pour configurer votre environnement de développement spécifiquement pour utiliser le classificateur audio. Pour obtenir des informations générales sur configurer votre environnement de développement pour utiliser les tâches MediaPipe, y compris versions de la plate-forme requises, consultez la Guide de configuration pour le Web

Packages JavaScript

Le code du classificateur audio est disponible via MediaPipe @mediapipe/tasks-audio NPM. Vous pouvez rechercher et télécharger ces bibliothèques à partir des liens fournis sur la plate-forme ; Guide de configuration

Vous pouvez installer les packages requis avec le code suivant pour la préproduction locale en exécutant la commande suivante:

npm install @mediapipe/tasks-audio

Si vous souhaitez importer le code de la tâche via un réseau de diffusion de contenu (CDN) ajoutez le code suivant dans la balise de votre fichier HTML:

<!-- Replace "my-cdn-service.com" with your CDN -->
<head>
  <script src="https://my-cdn-service.com/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

Modèle

La tâche de classification audio MediaPipe nécessite un modèle entraîné et compatible avec tâche. Pour en savoir plus sur les modèles entraînés disponibles pour le classificateur audio, consultez la section Modèles de la présentation des tâches.

Sélectionnez et téléchargez un modèle, puis stockez-le dans le répertoire de votre projet. Par exemple:

<dev-project-root>/app/shared/models/

Créer la tâche

Utilisez l'une des fonctions createFrom...() du classificateur audio pour préparer la tâche à exécuter des inférences. Utiliser le createFromModelPath() avec un chemin d'accès relatif ou absolu vers le fichier de modèle entraîné. Si votre modèle est déjà chargé en mémoire, vous pouvez utiliser la createFromModelBuffer().

L'exemple de code ci-dessous montre comment utiliser la fonction createFromOptions() pour configurer la tâche. La fonction createFromOptions vous permet de personnaliser Classificateur audio avec options de configuration. Pour en savoir plus sur la configuration consultez la section Options de configuration.

Le code suivant montre comment compiler et configurer la tâche avec des options:

const audio = await FilesetResolver.forAudioTasks(
    "https://my-cdn-service.com/npm/@mediapipe/tasks-audio/wasm"
  );

const audioClassifier = await AudioClassifier.createFromOptions(audio, {
    baseOptions: {
      modelAssetPath:
        "https://tfhub.dev/google/lite-model/yamnet/classification/tflite/1?lite-format=tflite"
    }
  });

L'exemple d'implémentation de code pour le classificateur audio permet à l'utilisateur de choisir entre différents modes de traitement. L'approche rend le code de création de la tâche plus compliqué et peuvent ne pas être adaptés à votre cas d'utilisation. Vous pouvez voir les différents modes entre runAudioClassification() et runStreamingAudioClassification() des fonctions example code

Options de configuration

Cette tâche comporte les options de configuration suivantes pour le Web et JavaScript applications:

Nom de l'option	Description	Plage de valeurs	Valeur par défaut
`displayNamesLocale`	Définit la langue des libellés à utiliser pour les noms à afficher fournis dans les les métadonnées du modèle de la tâche, le cas échéant. La valeur par défaut est `en` pour anglais. Vous pouvez ajouter des libellés localisés aux métadonnées d'un modèle personnalisé à l'aide de l'API TensorFlow Lite Metadata Writer ;	Code des paramètres régionaux	en
`maxResults`	Définit le nombre maximal facultatif de résultats de classification les mieux notés sur retour. Si < 0, tous les résultats disponibles sont renvoyés.	Tous les nombres positifs	`-1`
`scoreThreshold`	Définit le seuil de score de prédiction qui remplace celui indiqué dans les métadonnées du modèle (le cas échéant). Les résultats inférieurs à cette valeur sont refusés.	[0,0, 1,0]	Non défini
`categoryAllowlist`	Définit la liste facultative des noms de catégories autorisés. Si ce champ n'est pas vide, les résultats de classification dont le nom de catégorie ne fait pas partie de cet ensemble seront filtrées. Les noms de catégories en double ou inconnus sont ignorés. Cette option s'exclue mutuellement avec `categoryDenylist` et utilise génèrent une erreur.	Toutes les chaînes	Non défini
`categoryDenylist`	Définit la liste facultative des noms de catégories non autorisés. Si non vide, les résultats de classification dont le nom de catégorie se trouve dans cet ensemble seront filtrés s'affiche. Les noms de catégories en double ou inconnus sont ignorés. Cette option est mutuellement exclusive avec `categoryAllowlist` et l'utilisation des deux entraîne une erreur.	Toutes les chaînes	Non défini

Préparer les données

Le classificateur audio fonctionne avec les extraits et les flux audio, ainsi qu'avec l'audio des fichiers dans tout format compatible avec le navigateur hôte. La tâche gère les données le prétraitement des entrées, y compris le rééchantillonnage, la mise en mémoire tampon et le cadrage.

Exécuter la tâche

L'outil de classification audio utilise la méthode classify() pour exécuter des inférences sur un extrait audio de fichiers ou de flux audio. L'API Audio Classifier renvoie la valeur des événements audio reconnus dans l'audio d'entrée.

Les appels de la méthode classify() de l'outil de classification audio s'exécutent de manière synchrone et bloquent thread d'interface utilisateur. Si vous classez des contenus audio à partir du micro d'un appareil, chaque classification bloque le thread principal. Vous pouvez éviter cela en implémenter des nœuds de calcul Web pour exécuter classify() sur un autre thread.

Le code suivant montre comment exécuter le traitement avec le modèle de tâche:

Clips audio

// Create audio buffer
const sample = await response.arrayBuffer();
const audioBuffer = await audioCtx.decodeAudioData(sample);

// Use AudioClassifier to run classification
const results = audioClassifier.classify(
  audioBuffer.getChannelData(0),
  audioBuffer.sampleRate
);

Flux audio

stream = await navigator.mediaDevices.getUserMedia(constraints);
audioCtx = new AudioContext({ sampleRate: 16000 });

const source = audioCtx.createMediaStreamSource(stream);
const scriptNode = audioCtx.createScriptProcessor(16384, 1, 1);

scriptNode.onaudioprocess = function (audioProcessingEvent) {
  const inputBuffer = audioProcessingEvent.inputBuffer;
  let inputData = inputBuffer.getChannelData(0);

  // Classify the audio
  const result = audioClassifier.classify(inputData);
  const categories = result[0].classifications[0].categories;
};

Pour une implémentation plus complète de l'exécution d'une tâche de classificateur audio, consultez la exemple de code.

Gérer et afficher les résultats

Une fois l'exécution d'une inférence terminée, la tâche de classificateur audio renvoie une Un objet AudioClassifierResult contenant la liste des catégories possibles pour les objets dans l'audio d'entrée.

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

L'exemple de code du classificateur audio montre comment afficher la classification renvoyés par la tâche, consultez la exemple de code pour en savoir plus.