MediaPipe 音訊分類器工作可讓您對音訊資料執行分類。您可以使用這項工作,從一組已訓練的類別中找出聲響事件。這些操作說明會示範如何搭配 Python 使用音訊分類器。
如要進一步瞭解這項工作的功能、模型和設定選項,請參閱總覽。
程式碼範例
音訊分類器的範例程式碼提供此工作在 Python 中的完整實作,供您參考。這段程式碼可協助您測試這項工作,並開始建構自己的音訊分類器。有了 Google Colab,只要使用網路瀏覽器,即可查看、執行及編輯音訊分類器的範例程式碼。您可以前往 GitHub 查看此範例的原始碼。
如果您要實作 Raspberry Pi 的音訊分類器,請參閱 Raspberry Pi 範例應用程式。
設定
本節說明設定開發環境的重要步驟,以及專門用於使用音訊分類器的程式碼專案。如需瞭解如何使用 MediaPipe 工作設定開發環境的一般資訊,包括平台版本需求,請參閱 Python 設定指南。
套裝組合
音訊分類器工作是 mediapipe pip 套件。您可以使用以下項目安裝依附元件:
$ python -m pip install mediapipe
匯入
匯入下列類別即可存取「音訊分類器」工作函式:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import audio
型號
MediaPipe 音訊分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解音訊分類器的可用已訓練模型,請參閱工作總覽「模型」一節。
選取並下載模型,然後儲存至本機目錄中。您可以使用建議的 Yamnet 模型。
model_path = '/absolute/path/to/lite-model_yamnet_classification_tflite_1.tflite'
在「模型名稱」參數中指定模型的路徑,如下所示:
base_options = BaseOptions(model_asset_path=model_path)
建立工作
使用 create_from_options
函式建立工作。create_from_options
函式可接受設定選項,包括執行模式、顯示名稱語言代碼、結果數量上限、可信度門檻、類別允許清單和拒絕清單。如要進一步瞭解設定選項,請參閱「設定總覽」。
「音訊分類器」工作支援音訊片段和音訊串流做為輸入來源。建立工作時,您必須指定與輸入資料類型相對應的執行模式。選擇與輸入資料類型對應的分頁標籤,瞭解如何建立工作並執行推論。
音訊片段
AudioClassifier = mp.tasks.audio.AudioClassifier AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions AudioRunningMode = mp.tasks.audio.RunningMode BaseOptions = mp.tasks.BaseOptions options = AudioClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=AudioRunningMode.AUDIO_CLIPS) with AudioClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
音訊串流
AudioClassifier = mp.tasks.audio.AudioClassifier AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions AudioClassifierResult = mp.tasks.audio.AudioClassifierResult AudioRunningMode = mp.tasks.audio.RunningMode BaseOptions = mp.tasks.BaseOptions def print_result(result: AudioClassifierResult, timestamp_ms: int): print(AudioClassifierResult result: {}’.format(result)) options = AudioClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), running_mode=AudioRunningMode.AUDIO_STREAM, max_results=5, result_callback=print_result) with AudioClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
如需建立搭配音訊使用的音訊分類器的完整範例,請參閱程式碼範例。
設定選項
這項工作的 Python 應用程式設定選項如下:
選項名稱 | 說明 | 值範圍 | 預設值 |
---|---|---|---|
running_mode |
設定工作的執行模式。音訊分類器提供兩種模式: AUDIO_CLIPS:用於在獨立音訊片段上執行音訊工作的模式。 AUDIO_STREAM:對音訊串流 (例如透過麥克風) 執行音訊工作的模式。在這個模式下,必須呼叫 resultListener 才能設定事件監聽器,以非同步方式接收分類結果。 |
{AUDIO_CLIPS, AUDIO_STREAM } |
AUDIO_CLIPS |
display_names_locale |
設定標籤語言,用於工作模型中繼資料內的顯示名稱 (如有)。英文的預設值是 en 。您可以使用 TensorFlow Lite Metadata Writer API,在自訂模型的中繼資料中加入本地化標籤。 | 語言代碼 | en |
max_results |
設定要傳回的最高評分分類結果數量上限 (選用)。如果小於 0,系統會傳回所有可用的結果。 | 任何正數 | -1 |
score_threshold |
設定預測分數門檻,覆寫模型中繼資料 (如有) 中提供的分數門檻。這個值下方的結果遭到拒絕。 | [0.0、1.0] | 未設定 |
category_allowlist |
設定允許的類別名稱 (選用)。如果不是空白,系統會篩除類別名稱不在這個組合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 category_denylist 互斥,且同時使用兩者會導致錯誤。 |
任何字串 | 未設定 |
category_denylist |
設定不允許使用的類別名稱清單。如果不是空白,系統會篩除類別名稱在此集合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 category_allowlist 互斥,且同時使用兩者會導致錯誤。 |
任何字串 | 未設定 |
result_callback |
設定結果事件監聽器在音訊分類器處於音訊串流模式時,以非同步方式接收分類結果。只能在執行模式設為 AUDIO_STREAM 時使用 |
不適用 | 未設定 |
準備資料
音訊分類器可搭配音訊片段和音訊串流使用。工作會處理資料輸入的預先處理作業,包括重新取樣、緩衝和取景。
將輸入內容準備為音訊檔案或 numpy 陣列,然後將其轉換為 MediaPipe AudioData
物件。您可以使用 SciPy 等外部程式庫,將輸入音訊載入為 numpy 陣列。
以下範例說明每個可用資料類型的資料,並說明如何準備需要處理的資料:
音訊片段
import numpy as np from scipy.io import wavfile AudioData = mp.tasks.components.containers.AudioData sample_rate, buffer = wavfile.read('/path/to/audio.wav') audio_data = AudioData.create_from_array( buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
音訊串流
import numpy as np AudioData = mp.tasks.components.containers.AudioData # Read microphone data as np arrays, then call audio_data = AudioData.create_from_array( buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
執行工作
呼叫與執行模式對應的分類函式,以觸發推論。Audio Classifier API 會在輸入音訊緩衝區內傳回音訊事件的可能類別。
音訊片段
# Perform audio classification on the provided audio clip. audio_classifier_result_list = classifier.classify(audio_data)
音訊串流
# Send live audio data to perform audio classification. # Results are sent to the `result_callback` provided in the `AudioClassifierOptions` classifier.classify_async(audio_data, timestamp_ms)
注意事項:
- 在音訊串流模式下執行時,您還必須為音訊分類器工作提供輸入音訊資料的時間戳記。
- 在音訊片段模型中執行時,「音訊分類器」工作會封鎖目前的執行緒,直到處理輸入音訊為止。
如需執行含有音訊片段的音訊分類器的完整範例,請參閱程式碼範例。
處理並顯示結果
執行推論時,音訊分類器工作會傳回 AudioClassifierResult
物件,其中包含輸入音訊中音訊事件的可能類別清單。
以下為這項工作的輸出資料範例:
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
「音訊分類器」範例程式碼示範如何顯示這項工作傳回的分類結果,詳情請參閱程式碼範例。