Guida alla classificazione dei contenuti audio per Android

L'attività Classificatore audio MediaPipe consente di eseguire la classificazione sui dati audio. Puoi usa questa attività per identificare gli eventi sonori da un insieme di categorie addestrate. Questi istruzioni mostrano come usare il Classificatore audio con le app per Android.

Per ulteriori informazioni su funzionalità, modelli e opzioni di configurazione di questa attività, consulta la Panoramica.

Esempio di codice

Il codice di esempio relativo alle attività di MediaPipe è una semplice implementazione di un classificatore audio per Android. L'esempio utilizza il microfono su un dispositivo Android fisico per classificare continuamente i suoni e può anche eseguire il classificatore sui file audio memorizzati sul dispositivo.

Puoi utilizzare l'app come punto di partenza per la tua app per Android o fare riferimento all'app quando modifichi un'app esistente. Il codice di esempio Classificatore audio è ospitato su GitHub.

Scarica il codice

Le seguenti istruzioni mostrano come creare una copia locale dell'esempio utilizzando lo strumento a riga di comando git.

Per scaricare il codice di esempio:

1. Clona il repository git utilizzando il comando seguente:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Facoltativamente, configura l'istanza Git in modo da utilizzare il pagamento sparso, In questo modo avrai solo i file dell'app di esempio Classificatore audio:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

Dopo aver creato una versione locale del codice di esempio, puoi importare il progetto in Android Studio ed eseguire l'app. Per istruzioni, vedi Guida alla configurazione per Android.

Componenti chiave

I seguenti file contengono il codice fondamentale per questo audio applicazione di esempio di classificazione:

• AudioClassifierHelper.kt: Inizializza il classificatore audio, gestisce il modello e delega selezione.
• RecorderFragment.kt: Crea l'interfaccia utente e il codice di controllo per la registrazione audio in diretta.
• LibraryFragment.kt: Crea l'interfaccia utente e il codice di controllo per la selezione dei file audio.
• ProbabilitiesAdapter.kt: Gestisce e formatta i risultati delle previsioni del classificatore.

Configurazione

Questa sezione descrive i passaggi chiave per configurare l'ambiente di sviluppo e per i progetti di codice che usano Classificatore audio. Per informazioni generali su configurare l'ambiente di sviluppo per l'utilizzo delle attività di MediaPipe, tra cui: i requisiti di versione della piattaforma, consulta Guida alla configurazione per Android.

Dipendenze

Classificatore audio usa la raccolta com.google.mediapipe:tasks-audio. Aggiungi questo al file build.gradle del tuo Progetto di sviluppo app per Android. Importa le dipendenze richieste con il seguente codice:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Modello

L'attività MediaPipe Audio Classifier richiede un modello addestrato che sia compatibile con dell'attività. Per ulteriori informazioni sui modelli addestrati disponibili per Audio Classifier, consulta la panoramica delle attività nella sezione Modelli.

Seleziona e scarica il modello, quindi archivialo nella directory del progetto:

<dev-project-root>/src/main/assets

Usa il metodo BaseOptions.Builder.setModelAssetPath() per specificare il percorso usato dal modello. Questo metodo è indicato nell'esempio di codice della .

Nella Esempio di strumento di classificazione audio Il modello è definito in AudioClassifierHelper.kt .

Crea l'attività

Puoi utilizzare la funzione createFromOptions per creare l'attività. La La funzione createFromOptions accetta le opzioni di configurazione, inclusa l'esecuzione modalità, nomi visualizzati, impostazioni internazionali, numero massimo di risultati, soglia di confidenza, e una lista di categorie consentite o bloccate. Per ulteriori informazioni sulla configurazione vedi Panoramica della configurazione.

L'attività Classificatore audio supporta i seguenti tipi di dati di input: clip audio e stream audio. Devi specificare la modalità di esecuzione corrispondente il tipo di dati di input durante la creazione di un'attività. Scegli la scheda corrispondente a il tipo di dati di input per vedere come creare l'attività ed eseguire l'inferenza.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

L'implementazione del codice di esempio del Classificatore audio consente all'utente di alternare tra di elaborazione. L'approccio rende il codice di creazione delle attività più complicato potrebbero non essere appropriati per il tuo caso d'uso. Puoi vedere il codice per cambiare modalità nella funzione initClassifier() del AudioClassifierHelper

Opzioni di configurazione

Questa attività include le seguenti opzioni di configurazione per le app per Android:

Preparazione dei dati

Classificatore audio funziona con clip audio e stream audio. L'attività gestisce la pre-elaborazione dell'input dei dati, tra cui il ricampionamento, il buffering e l'inquadratura. Tuttavia, devi convertire i dati audio di input in un com.google.mediapipe.tasks.components.containers.AudioData prima di passarlo all'attività Classificatore audio.

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

Esegui l'attività

Puoi chiamare la funzione classify corrispondente alla tua modalità di corsa per attivare le inferenze. L'API Audio Classifier restituisce le possibili categorie di gli eventi audio riconosciuti nei dati audio di input.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

Tieni presente quanto segue:

• Quando è attiva la modalità stream audio, devi fornire anche il valore Attività di classificazione audio con un timestamp per monitorare i dati audio all'interno il flusso è stato utilizzato per l'inferenza.
• Durante l'esecuzione nel modello di clip audio, l'attività Classificatore audio blocca sul thread corrente finché non termina di elaborare l'audio di input. Per evitare di bloccare le risposte dell'interfaccia utente, esegui l'elaborazione in una in background.

Per un esempio di Classificatore audio con clip audio, consulta le AudioClassifierHelper corso nel esempio di codice.

Gestire e visualizzare i risultati

Dopo aver eseguito un'inferenza, l'attività Classificatore audio restituisce un elenco di per gli eventi audio all'interno dell'audio di input. Il seguente elenco mostra un esempio dei dati di output di questa attività:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

In un'app per Android, l'attività restituisce un ClassificationResult che contiene un oggetto di oggetti AudioClassifierResult, che rappresentano le previsioni per tra cui l'etichetta della categoria e il punteggio di confidenza.

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

Puoi vedere un esempio di come mostrare la classificazione risultati restituiti da questa attività nella classe ProbabilitiesAdapter del esempio di codice.