Guía de clasificación de audio para Android

La tarea del clasificador de audio MediaPipe te permite clasificar datos de audio. Puedes Usa esta tarea para identificar eventos de sonido de un conjunto de categorías entrenadas. Estos Las instrucciones te muestran cómo usar el clasificador de audio con apps para Android.

Para obtener más información sobre las capacidades, los modelos y las opciones de configuración para completar esta tarea, consulta la Descripción general.

Ejemplo de código

El código de ejemplo de MediaPipe Tasks es una implementación simple de un clasificador de audio para Android. En el ejemplo, se usa el micrófono de un dispositivo Android físico para clasifican sonidos de forma continua y también pueden ejecutar el clasificador en archivos de sonido almacenados en el dispositivo.

Puedes usar la app como punto de partida para tu propia app para Android o hacer referencia a ella. cuando se modifica una app existente. El código de ejemplo del clasificador de audio se aloja en GitHub:

Descarga el código

En las siguientes instrucciones, se muestra cómo crear una copia local del ejemplo con la herramienta de línea de comandos git.

Para descargar el código de ejemplo, haz lo siguiente:

1. Clona el repositorio de Git con el siguiente comando:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. De forma opcional, configura tu instancia de Git para que use el resultado escaso. Solo tienes los archivos de la app de ejemplo del Clasificador de audio:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

Después de crear una versión local del código de ejemplo, puedes importar el proyecto en Android Studio y ejecutar la app. Para obtener instrucciones, consulta la Guía de configuración para Android

Componentes clave

Los siguientes archivos contienen el código esencial para este audio de clasificación como la siguiente:

• AudioClassifierHelper.kt: Inicializa el clasificador de audio y controla el modelo y el delegado. selección.
• RecorderFragment.kt: Crea la interfaz de usuario y el código de control para la grabación de audio en vivo.
• LibraryFragment.kt: Crea la interfaz de usuario y el código de control para seleccionar archivos de audio.
• ProbabilitiesAdapter.kt: Maneja y formatea los resultados de predicción del clasificador.

Configuración

En esta sección, se describen los pasos clave para configurar tu entorno de desarrollo y proyectos de código específicamente para usar el Clasificador de audio. Para obtener información general configurar tu entorno de desarrollo para usar tareas de MediaPipe, como de la versión de la plataforma, consulta la Guía de configuración para Android.

Dependencias

El clasificador de audio usa la biblioteca com.google.mediapipe:tasks-audio. Agregar dependencia al archivo build.gradle de tu Proyecto de desarrollo de apps para Android. Importa las dependencias necesarias con el siguiente código:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Modelo

La tarea del clasificador de audio MediaPipe requiere un modelo entrenado que sea compatible con tarea. Para obtener más información sobre los modelos entrenados disponibles para el clasificador de audio, consulta la sección Modelos de la descripción general de la tarea.

Selecciona y descarga el modelo; luego, guárdalo en el directorio de tu proyecto:

<dev-project-root>/src/main/assets

Usa el método BaseOptions.Builder.setModelAssetPath() para especificar la ruta de acceso. que usa el modelo. Este método se menciona en el ejemplo de código en la próxima sección.

En la código de ejemplo del clasificador de audio, el modelo se define en AudioClassifierHelper.kt .

Crea la tarea

Puedes usar la función createFromOptions para crear la tarea. El La función createFromOptions acepta opciones de configuración, como la ejecución modo, configuración regional de los nombres visibles, cantidad máxima de resultados, umbral de confianza, y una lista de categorías permitidas o denegadas. Para obtener más información sobre la configuración consulta Descripción general de la configuración.

La tarea Clasificador de audio admite los siguientes tipos de datos de entrada: clips de audio. y transmisiones de audio. Debes especificar el modo de ejecución correspondiente a tu tipo de datos de entrada cuando creas una tarea. Elige la pestaña correspondiente a tu tipo de datos de entrada para ver cómo crear la tarea y ejecutar la inferencia.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

La implementación de código de ejemplo del clasificador de audio permite al usuario cambiar entre modos de procesamiento. Este enfoque hace que el código de creación de tareas sea más complicado y pueden no ser adecuados para tu caso de uso. Puedes ver el código de cambio de modo en la función initClassifier() de la AudioClassifierHelper

Opciones de configuración

Esta tarea tiene las siguientes opciones de configuración para apps para Android:

Preparar los datos

El Clasificador de audio funciona con clips y reproducciones de audio. La tarea controla el procesamiento previo de la entrada de datos, incluidos el remuestreo, el almacenamiento en búfer y el encuadre. Sin embargo, debes convertir los datos de audio de entrada en un com.google.mediapipe.tasks.components.containers.AudioData antes de pasarlo a la tarea del clasificador de audio.

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

Ejecuta la tarea

Puedes llamar a la función classify correspondiente a tu modo de ejecución para desencadenar inferencias. La API de clasificación de audio devuelve las posibles categorías para los eventos de audio reconocidos en los datos de audio de entrada.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

Ten en cuenta lo siguiente:

• Cuando ejecutas en modo de transmisión de audio, también debes proporcionar Tarea de clasificación de audio con una marca de tiempo para rastrear en qué datos de audio se usó la transmisión para la inferencia.
• Cuando se ejecuta en el modelo de clips de audio, el Clasificador de audio bloquea las tareas el subproceso actual hasta que termine de procesar el audio de entrada. Para evitar bloquear las respuestas de la interfaz de usuario, ejecuta el procesamiento en un subproceso en segundo plano.

Puedes ver un ejemplo de ejecución del Clasificador de audio con clips de audio. Consulta el AudioClassifierHelper clase en la ejemplo de código.

Cómo controlar y mostrar resultados

Después de ejecutar una inferencia, la tarea del Clasificador de audio devuelve una lista de posibles categorías para los eventos de audio dentro del audio de entrada. El siguiente listado se muestra un ejemplo de los datos de salida de esta tarea:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

En una app para Android, la tarea muestra una ClassificationResult que contiene un lista de objetos AudioClassifierResult, que representan predicciones para un evento de audio, incluidas la etiqueta de la categoría y la puntuación de confianza.

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

Puedes ver un ejemplo de cómo mostrar la clasificación resultados que muestra esta tarea en la clase ProbabilitiesAdapter de la ejemplo de código.