MediaPipe 音訊分類器工作可讓您對音訊資料執行分類。您可以使用這項工作,從一組已訓練的類別中找出聲響事件。以下操作說明將說明如何搭配使用音訊分類器與 Android 應用程式。
如要進一步瞭解這項工作的功能、模型和設定選項,請參閱總覽。
程式碼範例
MediaPipe Tasks 範例程式碼是 Android 音訊分類器應用程式的簡易實作方式。這個範例使用實體 Android 裝置上的麥克風來持續分類聲音,也可以在裝置上儲存的音效檔案執行分類器。
您可以將該應用程式做為開發 Android 應用程式的起點,也可以在修改現有應用程式時參照。音訊分類器的範例程式碼由 GitHub 代管。
下載程式碼
以下操作說明說明如何使用 git 指令列工具建立範例程式碼的本機副本。
如要下載範例程式碼,請按照下列步驟操作:
- 使用下列指令複製 Git 存放區:
git clone https://github.com/google-ai-edge/mediapipe-samples
- 您可以選擇將 Git 執行個體設為使用稀疏檢查,因此只有 Audio Classifier 範例應用程式的檔案:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/audio_classifier/android
建立範例程式碼的本機版本後,您可以將專案匯入 Android Studio 並執行應用程式。如需操作說明,請參閱「Android 設定指南」。
重要元件
下列檔案包含這個音訊分類範例應用程式的重要程式碼:
- AudioClassifierHelper.kt:初始化音訊分類器並處理模型並委派選取。
- RecorderFragment.kt:建立即時錄音的使用者介面和控製程式碼。
- LibraryFragment.kt:建立使用者介面和控製程式碼,用來選取音訊檔案。
- ProbabilitiesAdapter.kt:處理分類器的預測結果及設定格式。
設定
本節說明設定開發環境的重要步驟,以及專門用於使用音訊分類器的程式碼專案。如需瞭解如何設定開發環境以使用 MediaPipe 工作 (包括平台版本需求),請參閱「Android 設定指南」。
依附元件
音訊分類器會使用 com.google.mediapipe:tasks-audio
程式庫。將這個依附元件新增至 Android 應用程式開發專案的 build.gradle
檔案。使用下列程式碼匯入必要的依附元件:
dependencies {
...
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
型號
MediaPipe 音訊分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解音訊分類器的可用已訓練模型,請參閱工作總覽「模型」一節。
選取並下載模型,然後將其儲存在專案目錄中:
<dev-project-root>/src/main/assets
請使用 BaseOptions.Builder.setModelAssetPath()
方法指定模型使用的路徑。在下一節的程式碼範例中稱為此方法。
您可以在音訊分類器的範例程式碼中,在 AudioClassifierHelper.kt
檔案中定義模型。
建立工作
您可以使用 createFromOptions
函式建立工作。createFromOptions
函式可接受設定選項,包括執行模式、顯示名稱語言代碼、結果數量上限、可信度門檻,以及類別許可清單或拒絕清單。如要進一步瞭解設定選項,請參閱「設定總覽」。
「音訊分類器」工作支援下列輸入資料類型:音訊片段和音訊串流。您在建立工作時,需要指定與輸入資料類型相對應的執行模式。請選擇與輸入資料類型對應的分頁標籤,瞭解如何建立工作並執行推論。
音訊片段
AudioClassifierOptions options = AudioClassifierOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.AUDIO_CLIPS) .setMaxResults(5) .build(); audioClassifier = AudioClassifier.createFromOptions(context, options);
音訊串流
AudioClassifierOptions options = AudioClassifierOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.AUDIO_STREAM) .setMaxResults(5) .setResultListener(audioClassifierResult -> { // Process the classification result here. }) .build(); audioClassifier = AudioClassifier.createFromOptions(context, options);
音訊分類器的程式碼範例可讓使用者切換處理模式。這種做法會讓工作建立程式碼變得更加複雜,並且可能不適合您的用途。您可以在 AudioClassifierHelper
的 initClassifier()
函式中查看模式切換程式碼。
設定選項
這項工作的 Android 應用程式設定選項如下:
選項名稱 | 說明 | 值範圍 | 預設值 |
---|---|---|---|
runningMode |
設定工作的執行模式。音訊分類器提供兩種模式: AUDIO_CLIPS:用於在獨立音訊片段上執行音訊工作的模式。 AUDIO_STREAM:對音訊串流 (例如透過麥克風) 執行音訊工作的模式。在這個模式下,必須呼叫 resultListener 才能設定事件監聽器,以非同步方式接收分類結果。 |
{AUDIO_CLIPS, AUDIO_STREAM } |
AUDIO_CLIPS |
displayNamesLocale |
設定標籤語言,用於工作模型中繼資料內的顯示名稱 (如有)。英文的預設值是 en 。您可以使用 TensorFlow Lite Metadata Writer API,在自訂模型的中繼資料中加入本地化標籤。 | 語言代碼 | en |
maxResults |
設定要傳回的最高評分分類結果數量上限 (選用)。如果小於 0,系統會傳回所有可用的結果。 | 任何正數 | -1 |
scoreThreshold |
設定預測分數門檻,覆寫模型中繼資料 (如有) 中提供的分數門檻。這個值下方的結果遭到拒絕。 | [0.0、1.0] | 未設定 |
categoryAllowlist |
設定允許的類別名稱 (選用)。如果不是空白,系統會篩除類別名稱不在這個組合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 categoryDenylist 互斥,且同時使用兩者會導致錯誤。 |
任何字串 | 未設定 |
categoryDenylist |
設定不允許使用的類別名稱清單。如果不是空白,系統會篩除類別名稱在此集合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 categoryAllowlist 互斥,且同時使用兩者會導致錯誤。 |
任何字串 | 未設定 |
resultListener |
設定結果事件監聽器在音訊分類器處於音訊串流模式時,以非同步方式接收分類結果。只能在執行模式設為 AUDIO_STREAM 時使用 |
不適用 | 未設定 |
errorListener |
設定選用的錯誤事件監聽器。 | 不適用 | 未設定 |
準備資料
音訊分類器可搭配音訊片段和音訊串流使用。工作會處理資料輸入的預先處理作業,包括重新取樣、緩衝和取景。不過,您必須先將輸入的音訊資料轉換為 com.google.mediapipe.tasks.components.containers.AudioData
物件,才能將其傳送至音訊分類器工作。
音訊片段
import com.google.mediapipe.tasks.components.containers.AudioData; // Load an audio on the user’s device as a float array. // Convert a float array to a MediaPipe’s AudioData object. AudioData audioData = AudioData.create( AudioData.AudioDataFormat.builder() .setNumOfChannels(numOfChannels) .setSampleRate(sampleRate) .build(), floatData.length); audioData.load(floatData);
音訊串流
import android.media.AudioRecord; import com.google.mediapipe.tasks.components.containers.AudioData; AudioRecord audioRecord = audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000); audioRecord.startRecording(); ... // To get a one second clip from the AudioRecord object: AudioData audioData = AudioData.create( 16000 /*sample counts per second*/); AudioData.AudioDataFormat.create(audioRecord.getFormat()), audioData.load(audioRecord)
執行工作
您可以呼叫與執行模式對應的 classify
函式來觸發推論。對於輸入音訊資料中可辨識的音訊事件,音訊分類器 API 會傳回可能的類別。
音訊片段
AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
音訊串流
// Run inference on the audio block. The classifications results will be available // via the `resultListener` provided in the `AudioClassifierOptions` when // the audio classifier was created. audioClassifier.classifyAsync(audioBlock, timestampMs);
注意事項:
- 在音訊串流模式下執行時,您還必須為音訊分類器工作提供時間戳記,藉此追蹤在串流中用於推論的音訊資料。
- 在音訊片段模型中執行時,音訊分類器工作會封鎖目前的執行緒,直到處理輸入音訊完成為止。如要避免封鎖使用者介面回應,請在背景執行緒中執行處理作業。
您可以查看包含音訊片段的音訊分類器執行範例,請參閱程式碼範例中的 AudioClassifierHelper
類別。
處理並顯示結果
執行推論後,音訊分類器工作會傳回輸入音訊中音訊事件的可能類別清單。下列清單顯示這項工作的輸出資料範例:
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
在 Android 應用程式中,工作會傳回包含 AudioClassifierResult
物件清單的 ClassificationResult
,代表音訊事件的預測結果,包括類別標籤和可信度分數。
音訊片段
// In the audio clips mode, the classification results are for the entire audio // clip. The results are timestamped AudioClassifierResult objects, each // classifying an interval of the entire audio clip that starts at // ClassificationResult.timestampMs().get(). for (ClassificationResult result : audioClassifierResult.classificationResults()) { // Audio interval start timestamp: result.timestampMs().get(); // Classification result of the audio interval. result.classifications(); }
音訊串流
// In the audio stream mode, the classification results list only contains one // element, representing the classification result of the audio block that // starts at ClassificationResult.timestampMs in the audio stream. ClassificationResult result = audioClassifierResult.classificationResults().get(0); // The audio block start timestamp audioClassifierResult.timestampMs(); // Alternatively, the same timestamp can be retrieved from // result.timestampMs().get(); // Classification result. result.classifications();
您可以查看程式碼範例的 ProbabilitiesAdapter
類別,瞭解如何顯示這項工作傳回的分類結果。