Python 適用的語音分類指南

MediaPipe 音訊分類器工作可讓您對音訊資料執行分類。您可以使用這項工作，從一組已訓練的類別中找出聲響事件。這些操作說明會示範如何搭配 Python 使用音訊分類器。

如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

音訊分類器的範例程式碼提供此工作在 Python 中的完整實作，供您參考。這段程式碼可協助您測試這項工作，並開始建構自己的音訊分類器。有了 Google Colab，只要使用網路瀏覽器，即可查看、執行及編輯音訊分類器的範例程式碼。您可以前往 GitHub 查看此範例的原始碼。

如果您要實作 Raspberry Pi 的音訊分類器，請參閱 Raspberry Pi 範例應用程式。

設定

本節說明設定開發環境的重要步驟，以及專門用於使用音訊分類器的程式碼專案。如需瞭解如何使用 MediaPipe 工作設定開發環境的一般資訊，包括平台版本需求，請參閱 Python 設定指南。

套裝組合

音訊分類器工作是 mediapipe pip 套件。您可以使用以下項目安裝依附元件：

$ python -m pip install mediapipe

匯入

匯入下列類別即可存取「音訊分類器」工作函式：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import audio

型號

MediaPipe 音訊分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解音訊分類器的可用已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，然後儲存至本機目錄中。您可以使用建議的 Yamnet 模型。

model_path = '/absolute/path/to/lite-model_yamnet_classification_tflite_1.tflite'

在「模型名稱」參數中指定模型的路徑，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

建立工作

使用 create_from_options 函式建立工作。create_from_options 函式可接受設定選項，包括執行模式、顯示名稱語言代碼、結果數量上限、可信度門檻、類別允許清單和拒絕清單。如要進一步瞭解設定選項，請參閱「設定總覽」。

「音訊分類器」工作支援音訊片段和音訊串流做為輸入來源。建立工作時，您必須指定與輸入資料類型相對應的執行模式。選擇與輸入資料類型對應的分頁標籤，瞭解如何建立工作並執行推論。

AudioClassifier = mp.tasks.audio.AudioClassifier
AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions
AudioRunningMode = mp.tasks.audio.RunningMode
BaseOptions = mp.tasks.BaseOptions

options = AudioClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=AudioRunningMode.AUDIO_CLIPS)

with AudioClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

AudioClassifier = mp.tasks.audio.AudioClassifier
AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions
AudioClassifierResult = mp.tasks.audio.AudioClassifierResult
AudioRunningMode = mp.tasks.audio.RunningMode
BaseOptions = mp.tasks.BaseOptions

def print_result(result: AudioClassifierResult, timestamp_ms: int):
    print(AudioClassifierResult result: {}’.format(result))

options = AudioClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=AudioRunningMode.AUDIO_STREAM,
    max_results=5,
    result_callback=print_result)

with AudioClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
  

如需建立搭配音訊使用的音訊分類器的完整範例，請參閱程式碼範例。

設定選項

這項工作的 Python 應用程式設定選項如下：

準備資料

音訊分類器可搭配音訊片段和音訊串流使用。工作會處理資料輸入的預先處理作業，包括重新取樣、緩衝和取景。

將輸入內容準備為音訊檔案或 numpy 陣列，然後將其轉換為 MediaPipe AudioData 物件。您可以使用 SciPy 等外部程式庫，將輸入音訊載入為 numpy 陣列。

以下範例說明每個可用資料類型的資料，並說明如何準備需要處理的資料：

import numpy as np
from scipy.io import wavfile

AudioData = mp.tasks.components.containers.AudioData

sample_rate, buffer = wavfile.read('/path/to/audio.wav')
audio_data = AudioData.create_from_array(
    buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
    

import numpy as np

AudioData = mp.tasks.components.containers.AudioData

# Read microphone data as np arrays, then call

audio_data = AudioData.create_from_array(
    buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
    

執行工作

呼叫與執行模式對應的分類函式，以觸發推論。Audio Classifier API 會在輸入音訊緩衝區內傳回音訊事件的可能類別。

# Perform audio classification on the provided audio clip.
audio_classifier_result_list = classifier.classify(audio_data)
    

# Send live audio data to perform audio classification.
# Results are sent to the `result_callback` provided in the `AudioClassifierOptions`
classifier.classify_async(audio_data, timestamp_ms)
    

注意事項：

• 在音訊串流模式下執行時，您還必須為音訊分類器工作提供輸入音訊資料的時間戳記。
• 在音訊片段模型中執行時，「音訊分類器」工作會封鎖目前的執行緒，直到處理輸入音訊為止。

如需執行含有音訊片段的音訊分類器的完整範例，請參閱程式碼範例。

處理並顯示結果

執行推論時，音訊分類器工作會傳回 AudioClassifierResult 物件，其中包含輸入音訊中音訊事件的可能類別清單。

以下為這項工作的輸出資料範例：

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

「音訊分類器」範例程式碼示範如何顯示這項工作傳回的分類結果，詳情請參閱程式碼範例。