La tarea del clasificador de audio MediaPipe te permite clasificar datos de audio. Puedes Usa esta tarea para identificar eventos de sonido de un conjunto de categorías entrenadas. Estos estas instrucciones te muestran cómo usar el clasificador de audio en apps web y de Node.
Para ver esta tarea en acción, consulta el demostración. Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.
Ejemplo de código
El código de ejemplo para el clasificador de audio proporciona una implementación completa de este en JavaScript para tu referencia. Este código te ayuda a probar la tarea y y comienza a compilar tu propia app de clasificación de audio. Puedes ver, ejecutar y edita el Código de ejemplo del clasificador de audio usando solo el navegador web.
Configuración
En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el Clasificador de audio. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para la Web.
Paquetes de JavaScript
El código del clasificador de audio está disponible a través de MediaPipe @mediapipe/tasks-audio.
NPM. Puedes
encuentra y descarga estas bibliotecas desde los vínculos proporcionados en la plataforma.
Guía de configuración.
Puedes instalar los paquetes obligatorios con el siguiente código para la etapa de pruebas local con el siguiente comando:
npm install @mediapipe/tasks-audio
Si quieres importar el código de tarea a través de una red de distribución de contenidos (CDN) agrega el siguiente código en la etiqueta de tu archivo HTML:
<!-- Replace "my-cdn-service.com" with your CDN -->
<head>
<script src="https://my-cdn-service.com/npm/@mediapipe/tasks-audio/audio_bundle.js"
crossorigin="anonymous"></script>
</head>
Modelo
La tarea del clasificador de audio MediaPipe requiere un modelo entrenado que sea compatible con tarea. Para obtener más información sobre los modelos entrenados disponibles para el clasificador de audio, consulta la sección Modelos de la descripción general de la tarea.
Selecciona un modelo, descárgalo y almacénalo en el directorio de tu proyecto. por ejemplo:
<dev-project-root>/app/shared/models/
Crea la tarea
Usa una de las funciones createFrom...() del clasificador de audio para lo siguiente:
preparan la tarea para ejecutar inferencias. Usa el createFromModelPath()
con una ruta de acceso absoluta o relativa al archivo de modelo entrenado.
Si tu modelo ya está cargado en la memoria, puedes usar
createFromModelBuffer().
En el siguiente ejemplo de código, se demuestra el uso de la función createFromOptions() para
configurar la tarea. La función createFromOptions te permite personalizar la
Clasificador de audio con opciones de configuración. Para obtener más información sobre la configuración
consulta Opciones de configuración.
En el siguiente código, se muestra cómo compilar y configurar la tarea con Opciones:
const audio = await FilesetResolver.forAudioTasks(
"https://my-cdn-service.com/npm/@mediapipe/tasks-audio/wasm"
);
const audioClassifier = await AudioClassifier.createFromOptions(audio, {
baseOptions: {
modelAssetPath:
"https://tfhub.dev/google/lite-model/yamnet/classification/tflite/1?lite-format=tflite"
}
});
La implementación de código de ejemplo del clasificador de audio permite al usuario elegir entre
modos de procesamiento. Este enfoque hace que el código de creación de tareas sea más complicado y
pueden no ser adecuados para tu caso de uso. Puedes ver los diferentes modos
en runAudioClassification() y runStreamingAudioClassification()
funciones de la
example code
Opciones de configuración
Esta tarea tiene las siguientes opciones de configuración para la Web y JavaScript aplicaciones:
| Nombre de la opción | Descripción | Rango de valores | Valor predeterminado |
|---|---|---|---|
displayNamesLocale |
Configura el idioma de las etiquetas que se usarán para los nombres visibles que se proporcionan en la
metadatos del modelo de la tarea, si están disponibles. El valor predeterminado es en para
Inglés. Puedes agregar etiquetas localizadas a los metadatos de un modelo personalizado
con la API de Metadata Writer de TensorFlow Lite
| Código de configuración regional | en |
maxResults |
Establece el número máximo opcional de resultados de la clasificación con puntuación más alta en el resultado. Si < 0, se devolverán todos los resultados disponibles. | Cualquier número positivo | -1 |
scoreThreshold |
Establece el umbral de puntuación de predicción que anula el que se proporciona en los metadatos del modelo (si los hay). Se rechazarán los resultados por debajo de este valor. | [0.0, 1.0] | Sin establecer |
categoryAllowlist |
Establece la lista opcional de nombres de categorías permitidas. Si no está vacío,
los resultados de clasificación cuyo nombre de categoría no se encuentre en este conjunto serán
filtrado. Se ignoran los nombres de categoría duplicados o desconocidos.
Esta opción es mutuamente excluyente con categoryDenylist y usa
ambos darán como resultado un error. |
Cualquier cadena | Sin establecer |
categoryDenylist |
Establece la lista opcional de nombres de categorías que no están permitidos. Si
no vacío, los resultados de clasificación cuyo nombre de categoría se encuentre en este conjunto se filtrarán
y sale de ella. Se ignoran los nombres de categoría duplicados o desconocidos. Esta opción es mutuamente
excluyente con categoryAllowlist y usar ambos dará como resultado un error. |
Cualquier cadena | Sin establecer |
Preparar los datos
El Clasificador de audio funciona con clips y reproducciones de audio, y puede funcionar con audio en cualquier formato compatible con el navegador del host. La tarea maneja los datos el procesamiento previo de entradas, incluidos el remuestreo, el almacenamiento en búfer y el enmarcado.
Ejecuta la tarea
El clasificador de audio usa el método classify() para ejecutar inferencias para clips de audio
transmisiones de archivos o transmisiones de audio. La API de clasificación de audio devuelve los resultados
categorías para eventos de audio reconocidos en el audio de entrada.
Las llamadas al método classify() del clasificador de audio se ejecutan de forma síncrona y bloquea
de la interfaz de usuario. Si clasificas audio desde el micrófono de un dispositivo,
cada clasificación bloqueará el subproceso principal. Para evitarlo,
Implementar trabajadores web para ejecutar classify() en otro subproceso
En el siguiente código, se muestra cómo ejecutar el procesamiento con el modelo de tareas:
Clips de audio
// Create audio buffer const sample = await response.arrayBuffer(); const audioBuffer = await audioCtx.decodeAudioData(sample); // Use AudioClassifier to run classification const results = audioClassifier.classify( audioBuffer.getChannelData(0), audioBuffer.sampleRate );
Transmisión de audio
stream = await navigator.mediaDevices.getUserMedia(constraints); audioCtx = new AudioContext({ sampleRate: 16000 }); const source = audioCtx.createMediaStreamSource(stream); const scriptNode = audioCtx.createScriptProcessor(16384, 1, 1); scriptNode.onaudioprocess = function (audioProcessingEvent) { const inputBuffer = audioProcessingEvent.inputBuffer; let inputData = inputBuffer.getChannelData(0); // Classify the audio const result = audioClassifier.classify(inputData); const categories = result[0].classifications[0].categories; };
Para ver una implementación más completa de la ejecución de una tarea del Clasificador de audio, consulta el ejemplo de código de barras.
Cómo controlar y mostrar resultados
Una vez que completas una ejecución de inferencia, la tarea del clasificador de audio devuelve un
Un objeto AudioClassifierResult que contiene la lista de categorías posibles
para los objetos dentro del audio de entrada.
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
El código de ejemplo del clasificador de audio demuestra cómo mostrar la clasificación resultados que devolvió la tarea, consulta la ejemplo de código para conocer los detalles.