La tarea MediaPipe Audio Classifier te permite realizar la clasificación de datos de audio. Puedes usar esta tarea para identificar eventos de sonido a partir de un conjunto de categorías entrenadas. En estas instrucciones, se muestra cómo usar el clasificador de audio para apps web y de Node.
Puedes ver la tarea en acción en la demostración. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo del clasificador de audio proporciona una implementación completa de esta tarea en JavaScript para tu referencia. Este código te ayuda a probar esta tarea y comenzar a compilar tu propia app de clasificación de audio. Puedes ver, ejecutar y editar el código de ejemplo del clasificador de audio solo con tu navegador web.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente para usar el clasificador de audio. Si deseas obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de la versión de la plataforma, consulta la Guía de configuración para la Web.
Paquetes de JavaScript
El código del clasificador de audio está disponible a través del paquete @mediapipe/tasks-audio
NPM de MediaPipe. Puedes encontrar y descargar estas bibliotecas desde los vínculos que se proporcionan en la Guía de configuración de la plataforma.
Puedes instalar los paquetes necesarios con el siguiente código para la etapa de pruebas local con el siguiente comando:
npm install @mediapipe/tasks-audio
Si deseas importar el código de la tarea a través de un servicio de red de distribución de contenidos (CDN), agrega el siguiente código a la etiqueta de tu archivo HTML:
<!-- Replace "my-cdn-service.com" with your CDN -->
<head>
<script src="https://my-cdn-service.com/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Modelo
La tarea del clasificador de audio de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el clasificador de audio, consulta la descripción general de la tarea en la sección Modelos.
Selecciona y descarga un modelo, y almacénalo en el directorio del proyecto, por ejemplo:
<dev-project-root>/app/shared/models/
Crea la tarea
Usa una de las funciones createFrom...() del clasificador de audio a fin de preparar la tarea para ejecutar inferencias. Usa la función createFromModelPath() con una ruta relativa o absoluta al archivo del modelo entrenado.
Si tu modelo ya está cargado en la memoria, puedes usar el método createFromModelBuffer().
En el siguiente ejemplo de código, se muestra el uso de la función createFromOptions() para configurar la tarea. La función createFromOptions te permite personalizar el clasificador de audio con opciones de configuración. Para obtener más información sobre las opciones de configuración, consulta Opciones de configuración.
En el siguiente código, se muestra cómo compilar y configurar la tarea con opciones personalizadas:
const audio = await FilesetResolver.forAudioTasks(
"https://my-cdn-service.com/npm/@mediapipe/tasks-audio/wasm"
);
const audioClassifier = await AudioClassifier.createFromOptions(audio, {
baseOptions: {
modelAssetPath:
"https://tfhub.dev/google/lite-model/yamnet/classification/tflite/1?lite-format=tflite"
}
});
La implementación de código de ejemplo del clasificador de audio permite al usuario elegir entre modos de procesamiento. Este enfoque hace que el código de creación de la tarea sea más complicado y
puede que no sea apropiado para tu caso de uso. Puedes ver los diferentes modos en las funciones runAudioClassification() y runStreamingAudioClassification() de example code.
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para aplicaciones web y JavaScript:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
displayNamesLocale |
Configura el idioma de las etiquetas que se usarán para los nombres visibles proporcionados en los metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es en para inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado
con la API de Metadata Writer de TensorFlow Lite
| Código de configuración regional | en |
maxResults |
Configura la cantidad máxima opcional de resultados de clasificación con puntuación más alta que se mostrarán. Si es inferior a 0, se devolverán todos los resultados disponibles. | Cualquier número positivo | -1 |
scoreThreshold |
Establece el umbral de puntuación de predicción que anula el proporcionado en los metadatos del modelo (si corresponde). Se rechazarán los resultados inferiores a este valor. | [0.0, 1.0] | No establecida |
categoryAllowlist |
Establece la lista opcional de nombres de categorías permitidas. Si no está vacío, se filtrarán los resultados de clasificación cuyo nombre de categoría no esté en este conjunto. Los nombres de categorías duplicados o desconocidos se ignoran.
Esta opción es mutuamente excluyente con categoryDenylist, y el uso de ambos da como resultado un error. |
Cualquier cadena | No establecida |
categoryDenylist |
Establece la lista opcional de nombres de categorías que no están permitidas. Si no está vacío, se filtrarán los resultados de clasificación cuyo nombre de categoría se encuentre en este conjunto. Los nombres de categorías duplicados o desconocidos se ignoran. Esta opción es mutuamente
exclusiva con categoryAllowlist, y el uso de ambas da como resultado un error. |
Cualquier cadena | No establecida |
Preparar los datos
El clasificador de audio funciona con clips y transmisiones de audio, y puede trabajar con archivos de audio en cualquier formato compatible con el navegador del host. Esta tarea controla el procesamiento previo de la entrada de datos, lo que incluye el remuestreo, el almacenamiento en búfer y el enmarcado.
Ejecuta la tarea
El clasificador de audio usa el método classify() para ejecutar inferencias de archivos de clip de audio o transmisiones de audio. La API de clasificación de audio muestra las posibles categorías para eventos de audio reconocidos en el audio de entrada.
Las llamadas al método classify() del clasificador de audio se ejecutan de forma síncrona y bloquean el subproceso de interfaz de usuario. Si clasificas audio desde el micrófono de un dispositivo, cada clasificación bloqueará el subproceso principal. Puedes evitarlo implementando trabajadores web para que ejecuten classify() en otro subproceso.
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas:
Clips de audio
// Create audio buffer const sample = await response.arrayBuffer(); const audioBuffer = await audioCtx.decodeAudioData(sample); // Use AudioClassifier to run classification const results = audioClassifier.classify( audioBuffer.getChannelData(0), audioBuffer.sampleRate );
Transmisión de audio
stream = await navigator.mediaDevices.getUserMedia(constraints);
audioCtx = new AudioContext({ sampleRate: 16000 });
const source = audioCtx.createMediaStreamSource(stream);
const scriptNode = audioCtx.createScriptProcessor(16384, 1, 1);
scriptNode.onaudioprocess = function (audioProcessingEvent) {
const inputBuffer = audioProcessingEvent.inputBuffer;
let inputData = inputBuffer.getChannelData(0);
// Classify the audio
const result = audioClassifier.classify(inputData);
const categories = result[0].classifications[0].categories;
};
Para obtener una implementación más completa de la ejecución de una tarea de clasificador de audio, consulta el ejemplo de código.
Cómo controlar y mostrar los resultados
Una vez que completas una ejecución de inferencia, la tarea Clasificador de audio muestra un objeto AudioClassifierResult que contiene la lista de categorías posibles para los objetos dentro del audio de entrada.
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
En el código de ejemplo del clasificador de audio, se demuestra cómo mostrar los resultados de clasificación que muestra la tarea. Consulta el ejemplo de código para obtener más detalles.