Guía de clasificación de audio para Android

La tarea MediaPipe Audio Classifier te permite realizar la clasificación de datos de audio. Puedes usar esta tarea para identificar eventos de sonido a partir de un conjunto de categorías entrenadas. En estas instrucciones, se muestra cómo usar el clasificador de audio con apps para Android.

Para obtener más información sobre las capacidades, los modelos y las opciones de configuración de esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación simple de una app de clasificación de audio para Android. En el ejemplo, se usa el micrófono de un dispositivo Android físico para clasificar sonidos de forma continua y también se puede ejecutar el clasificador en archivos de sonido almacenados en el dispositivo.

Puedes usar la app como punto de partida para tu propia app para Android o consultarla cuando modifiques una app existente. El código de ejemplo del clasificador de audio se aloja en GitHub.

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del código de ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

1. Usa el siguiente comando para clonar el repositorio de Git:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. De manera opcional, configura tu instancia de Git para que use un proceso de confirmación de compra disperso, de modo que solo tengas los archivos para la app de ejemplo de clasificador de audio:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

Después de crear una versión local del código de ejemplo, puedes importar el proyecto a Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración de Android.

Componentes clave

Los siguientes archivos contienen el código fundamental para esta aplicación de ejemplo de clasificación de audio:

• AudioClassifierHelper.kt: Inicializa el clasificador de audio y controla la selección del modelo y del delegado.
• RecorderFragment.kt: Crea la interfaz de usuario y el código de control para la grabación de audio en vivo.
• LibraryFragment.kt: Crea la interfaz de usuario y el código de control para seleccionar archivos de audio.
• ProbabilitiesAdapter.kt: Maneja y formatea los resultados de predicción del clasificador.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y los proyectos de código específicamente para usar el clasificador de audio. Si quieres obtener información general sobre cómo configurar tu entorno de desarrollo para usar tareas de MediaPipe, incluidos los requisitos de versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

El clasificador de audio usa la biblioteca com.google.mediapipe:tasks-audio. Agrega esta dependencia al archivo build.gradle de tu proyecto de desarrollo de apps para Android. Importa las dependencias necesarias con el siguiente código:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Modelo

La tarea del clasificador de audio de MediaPipe requiere un modelo entrenado que sea compatible con esta tarea. Si deseas obtener más información sobre los modelos entrenados disponibles para el clasificador de audio, consulta la descripción general de la tarea en la sección Modelos.

Selecciona y descarga el modelo. Luego, almacénalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Usa el método BaseOptions.Builder.setModelAssetPath() para especificar la ruta que usa el modelo. Se hace referencia a este método en el ejemplo de código de la siguiente sección.

En el código de ejemplo del clasificador de audio, el modelo se define en el archivo AudioClassifierHelper.kt.

Crea la tarea

Puedes usar la función createFromOptions para crear la tarea. La función createFromOptions acepta opciones de configuración, como el modo de ejecución, la configuración regional de los nombres visibles, la cantidad máxima de resultados, el umbral de confianza y una lista de categorías permitidas o denegadas. Para obtener más información sobre las opciones de configuración, consulta Descripción general de la configuración.

La tarea Clasificador de audio admite los siguientes tipos de datos de entrada: clips de audio y transmisiones de audio. Cuando creas una tarea, debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

La implementación de código de ejemplo del clasificador de audio permite al usuario cambiar entre los modos de procesamiento. Este enfoque hace que el código de creación de la tarea sea más complicado y puede que no sea apropiado para tu caso de uso. Puedes ver el código de cambio de modo en la función initClassifier() de AudioClassifierHelper.

Opciones de configuración

Esta tarea incluye las siguientes opciones de configuración para apps para Android:

Preparar los datos

El clasificador de audio funciona con clips y transmisiones de audio. La tarea se encarga del procesamiento previo de la entrada de datos, lo que incluye el remuestreo, el almacenamiento en búfer y el enmarcado. Sin embargo, debes convertir los datos de audio de entrada en un objeto com.google.mediapipe.tasks.components.containers.AudioData antes de pasarlos a la tarea del clasificador de audio.

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

Ejecuta la tarea

Puedes llamar a la función classify correspondiente a tu modo de ejecución para activar las inferencias. La API de Audio Classifier muestra las categorías posibles para los eventos de audio reconocidos en los datos de audio de entrada.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

Ten en cuenta lo siguiente:

• Cuando se ejecuta en el modo de transmisión de audio, también debes proporcionar la tarea de clasificador de audio con una marca de tiempo para realizar un seguimiento de los datos de audio de la transmisión que se usaron para la inferencia.
• Cuando se ejecuta en el modelo de clips de audio, la tarea Clasificador de audio bloquea el subproceso actual hasta que termina de procesar el audio de entrada. Para evitar bloquear las respuestas de la interfaz de usuario, ejecuta el procesamiento en un subproceso en segundo plano.

Puedes ver un ejemplo de cómo ejecutar un clasificador de audio con clips de audio. Consulta la clase AudioClassifierHelper en el ejemplo de código.

Cómo controlar y mostrar los resultados

Después de ejecutar una inferencia, la tarea Clasificador de audio muestra una lista de categorías posibles para los eventos de audio dentro del audio de entrada. En la siguiente lista, se muestra un ejemplo de los datos de salida de esta tarea:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

En una app para Android, la tarea muestra una ClassificationResult que contiene una lista de objetos AudioClassifierResult, que representan las predicciones de un evento de audio, incluida la etiqueta de categoría y la puntuación de confianza.

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

Puedes ver un ejemplo de cómo mostrar los resultados de clasificación que muestra esta tarea en la clase ProbabilitiesAdapter del ejemplo de código.