Scopri di più sui nostri annunci di Google AI Edge da I/O

Questa pagina è stata tradotta dall'API Cloud Translation.

Guida alla classificazione dei contenuti audio per Android

L'attività Classificatore audio MediaPipe ti consente di eseguire la classificazione dei dati audio. Puoi utilizzare questa attività per identificare gli eventi sonori da un insieme di categorie addestrate. Queste istruzioni mostrano come utilizzare il classificatore audio con le app per Android.

Per ulteriori informazioni sulle funzionalità, sui modelli e sulle opzioni di configurazione di questa attività, consulta la Panoramica.

Esempio di codice

Il codice di esempio di MediaPipe Tasks è una semplice implementazione di un'app Audio Classifier per Android. L'esempio utilizza il microfono di un dispositivo Android fisico per classificare in modo continuo i suoni e può anche eseguire il classificatore sui file audio memorizzati sul dispositivo.

Puoi utilizzare l'app come punto di partenza per la tua app per Android o farvi riferimento quando modifichi un'app esistente. Il codice di esempio del classificatore audio è ospitato su GitHub.

Scarica il codice

Le seguenti istruzioni mostrano come creare una copia locale del codice di esempio utilizzando lo strumento a riga di comando git.

Per scaricare il codice di esempio:

Clona il repository git utilizzando il seguente comando:

git clone https://github.com/google-ai-edge/mediapipe-samples

Facoltativamente, configura la tua istanza Git in modo da utilizzare un pagamento sparse, in modo da avere solo i file per l'app di esempio Audio Classifier:
```
cd mediapipe
git sparse-checkout init --cone
git sparse-checkout set examples/audio_classifier/android
```

Dopo aver creato una versione locale del codice di esempio, puoi importare il progetto in Android Studio ed eseguire l'app. Per le istruzioni, consulta la Guida alla configurazione per Android.

Componenti chiave

I seguenti file contengono il codice cruciale per questa applicazione di esempio di classificazione audio:

AudioClassifierHelper.kt: inizializza il classificatore audio e gestisce il modello e la selezione dei delegati.
RecorderFragment.kt: crea l'interfaccia utente e il codice di controllo per la registrazione audio dal vivo.
LibraryFragment.kt: crea l'interfaccia utente e il codice di controllo per la selezione dei file audio.
ProbabilitiesAdapter.kt: gestisce e formatta i risultati di previsione del classificatore.

Configurazione

In questa sezione vengono descritti i passaggi chiave per configurare l'ambiente di sviluppo e codificare i progetti in modo specifico per l'utilizzo del classificatore audio. Per informazioni generali sulla configurazione dell'ambiente di sviluppo per l'utilizzo delle attività di MediaPipe, inclusi i requisiti di versione della piattaforma, consulta la Guida alla configurazione per Android.

Dipendenze

Il classificatore audio utilizza la raccolta com.google.mediapipe:tasks-audio. Aggiungi questa dipendenza al file build.gradle del tuo progetto di sviluppo di app per Android. Importa le dipendenze richieste con il seguente codice:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Modello

L'attività Classificatore audio MediaPipe richiede un modello addestrato compatibile con questa attività. Per ulteriori informazioni sui modelli addestrati disponibili per il classificatore di audio, consulta la panoramica dell'attività nella sezione Modelli.

Seleziona e scarica il modello, quindi archivialo all'interno della directory del progetto:

<dev-project-root>/src/main/assets

Usa il metodo BaseOptions.Builder.setModelAssetPath() per specificare il percorso utilizzato dal modello. Questo metodo è indicato nell'esempio di codice nella sezione successiva.

Nel codice di esempio del classificatore audio, il modello viene definito nel file AudioClassifierHelper.kt.

Creare l'attività

Puoi utilizzare la funzione createFromOptions per creare l'attività. La funzione createFromOptions accetta opzioni di configurazione tra cui modalità di esecuzione, impostazioni internazionali dei nomi visualizzati, numero massimo di risultati, soglia di confidenza e un elenco di categorie consentite o non consentite. Per ulteriori informazioni sulle opzioni di configurazione, consulta Panoramica della configurazione.

L'attività Classificatore audio supporta i seguenti tipi di dati di input: clip audio e stream audio. Devi specificare la modalità di esecuzione corrispondente al tipo di dati di input quando crei un'attività. Scegli la scheda corrispondente al tipo di dati di input per vedere come creare l'attività ed eseguire l'inferenza.

Clip audio

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);

Stream audio

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);

L'implementazione di codice di esempio del classificatore audio consente all'utente di passare da una modalità di elaborazione all'altra. Questo approccio rende più complicato il codice per la creazione delle attività e potrebbe non essere appropriato per il tuo caso d'uso. Puoi vedere il codice per il cambio di modalità nella funzione initClassifier() di AudioClassifierHelper.

Opzioni di configurazione

Questa attività prevede le seguenti opzioni di configurazione per le app per Android:

Nome opzione	Descrizione	Intervallo di valori	Valore predefinito
`runningMode`	Imposta la modalità di esecuzione per l'attività. Il classificatore audio ha due modalità: AUDIO_CLIPS: la modalità per eseguire l'attività audio su clip audio indipendenti. STREAM_AUDIO: la modalità per eseguire l'attività audio su uno stream audio, ad esempio dal microfono. In questa modalità, resultListener deve essere chiamato per configurare un listener che riceva i risultati della classificazione in modo asincrono.	{`AUDIO_CLIPS, AUDIO_STREAM`}	`AUDIO_CLIPS`
`displayNamesLocale`	Imposta la lingua delle etichette da utilizzare per i nomi visualizzati forniti nei metadati del modello dell'attività, se disponibili. Il valore predefinito è `en` per l'inglese. Puoi aggiungere etichette localizzate ai metadati di un modello personalizzato utilizzando l'API Metadata Writer di TensorFlow Lite	Codice impostazioni internazionali	it
`maxResults`	Imposta il numero massimo facoltativo di risultati di classificazione con il punteggio più alto da restituire. Se < 0, verranno restituiti tutti i risultati disponibili.	Eventuali numeri positivi	`-1`
`scoreThreshold`	Imposta la soglia del punteggio di previsione che sostituisce quella fornita nei metadati del modello (se presenti). I risultati inferiori a questo valore vengono rifiutati.	[0,0, 1,0]	Non impostata
`categoryAllowlist`	Consente di impostare l'elenco facoltativo di nomi di categorie consentite. Se il campo non è vuoto, i risultati della classificazione il cui nome categoria non è presente in questo set verranno filtrati. I nomi di categoria duplicati o sconosciuti vengono ignorati. Questa opzione si esclude a vicenda con `categoryDenylist` e l'utilizzo di entrambe genera un errore.	Qualsiasi stringa	Non impostata
`categoryDenylist`	Consente di impostare l'elenco facoltativo di nomi di categorie non consentiti. Se il campo non è vuoto, i risultati di classificazione il cui nome di categoria è presente in questo set verranno filtrati. I nomi di categoria duplicati o sconosciuti vengono ignorati. Questa opzione si esclude a vicenda con `categoryAllowlist` e l'uso di entrambe genera un errore.	Qualsiasi stringa	Non impostata
`resultListener`	Imposta il listener dei risultati per ricevere i risultati della classificazione in modo asincrono quando il classificatore audio è in modalità stream audio. Può essere utilizzato solo quando la modalità di esecuzione è impostata su `AUDIO_STREAM`	N/A	Non impostata
`errorListener`	Imposta un listener di errori facoltativo.	N/A	Non impostata

Preparazione dei dati

Il classificatore audio funziona con clip audio e stream audio. L'attività gestisce la pre-elaborazione dell'input dei dati, tra cui ricampionamento, buffering e framing. Tuttavia, devi convertire i dati audio di input in un oggetto com.google.mediapipe.tasks.components.containers.AudioData prima di passarli all'attività Classificatore audio.

Clip audio

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);

Stream audio

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)

Esegui l'attività

Puoi chiamare la funzione classify corrispondente alla modalità di esecuzione per attivare le inferenze. L'API Audio Classifier restituisce le possibili categorie per gli eventi audio riconosciuti all'interno dei dati audio di input.

Clip audio

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);

Stream audio

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);

Tieni presente quanto riportato di seguito:

Quando esegui l'esecuzione in modalità stream audio, devi anche fornire all'attività Classificatore audio con un timestamp per tracciare quali dati audio all'interno dello stream sono stati utilizzati per l'inferenza.
Quando viene eseguita nel modello di clip audio, l'attività Classificatore audio blocca il thread corrente finché non termina l'elaborazione dell'audio di input. Per evitare di bloccare le risposte dell'interfaccia utente, esegui l'elaborazione in un thread in background.

Per un esempio di classificatore audio con clip audio, consulta la classe AudioClassifierHelper nell' esempio di codice.

Gestire e visualizzare i risultati

Dopo aver eseguito un'inferenza, l'attività Classificatore audio restituisce un elenco di possibili categorie per gli eventi audio nell'audio di input. Il seguente elenco mostra un esempio dei dati di output di questa attività:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

In un'app per Android, l'attività restituisce un valore ClassificationResult che contiene un elenco di oggetti AudioClassifierResult, che rappresentano le previsioni per un evento audio, tra cui l'etichetta della categoria e il punteggio di confidenza.

Clip audio

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}

Stream audio

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();

Puoi vedere un esempio di come visualizzare i risultati di classificazione restituiti da questa attività nella classe ProbabilitiesAdapter dell'esempio di codice.