網頁版語音分類指南

MediaPipe 音訊分類器工作可讓您對音訊資料執行分類。您可以使用這項工作，從一組已訓練的類別中找出聲響事件。以下操作說明將示範如何使用節點和網頁應用程式適用的音訊分類器。

如要查看這項工作的運作情形，請查看示範。如要進一步瞭解這項工作的功能、模型和設定選項，請參閱總覽。

程式碼範例

音訊分類器的程式碼範例提供 JavaScript 此工作的完整實作方式，供您參考。這個程式碼可協助您測試這項工作，並開始建構您自己的音訊分類應用程式。您只能使用網路瀏覽器檢視、執行及編輯音訊分類器範例程式碼。

設定

本節說明設定開發環境的重要步驟，以及專門用於使用音訊分類器的程式碼專案。如需瞭解如何設定開發環境以使用 MediaPipe 工作 (包括平台版本需求)，請參閱「網頁版設定指南」。

JavaScript 套件

您可以透過 MediaPipe @mediapipe/tasks-audio NPM 套件取得音訊分類器程式碼。您可以從平台設定指南中的連結找到並下載這些程式庫。

您可以使用下列指令，安裝具有以下程式碼的必要套件，以執行本機暫存：

npm install @mediapipe/tasks-audio

如要透過內容傳遞網路 (CDN) 服務匯入工作程式碼，請在 HTML 檔案的標記中加入下列程式碼：

<!-- Replace "my-cdn-service.com" with your CDN -->
<head>
  <script src="https://my-cdn-service.com/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

型號

MediaPipe 音訊分類器工作需要使用與這項工作相容的已訓練模型。如要進一步瞭解音訊分類器的可用已訓練模型，請參閱工作總覽「模型」一節。

選取並下載模型，然後將模型儲存在您的專案目錄中，例如：

<dev-project-root>/app/shared/models/

建立工作

使用其中一個音訊分類器 createFrom...() 函式，為執行推論的準備工作。使用 createFromModelPath() 函式搭配已訓練模型檔案的相對或絕對路徑。如果模型已載入記憶體，您可以使用 createFromModelBuffer() 方法。

以下程式碼範例示範如何使用 createFromOptions() 函式設定工作。createFromOptions 函式可讓您使用設定選項自訂音訊分類器。如要進一步瞭解設定選項，請參閱「設定選項」一文。

以下程式碼示範如何使用自訂選項建構及設定工作：

const audio = await FilesetResolver.forAudioTasks(
    "https://my-cdn-service.com/npm/@mediapipe/tasks-audio/wasm"
  );

const audioClassifier = await AudioClassifier.createFromOptions(audio, {
    baseOptions: {
      modelAssetPath:
        "https://tfhub.dev/google/lite-model/yamnet/classification/tflite/1?lite-format=tflite"
    }
  });

音訊分類器的程式碼範例可讓使用者選擇其中一種處理模式。這種做法會讓工作建立程式碼變得更加複雜，並且可能不適合您的用途。您可以在 example code 的 runAudioClassification() 和 runStreamingAudioClassification() 函式中查看不同的模式。

設定選項

這項工作有以下網頁和 JavaScript 應用程式的設定選項：

選項名稱	說明	值範圍	預設值
`displayNamesLocale`	設定標籤語言，用於工作模型中繼資料內的顯示名稱 (如有)。英文的預設值是 `en`。您可以使用 TensorFlow Lite Metadata Writer API，在自訂模型的中繼資料中加入本地化標籤。	語言代碼	en
`maxResults`	設定要傳回的最高評分分類結果數量上限 (選用)。如果小於 0，系統會傳回所有可用的結果。	任何正數	`-1`
`scoreThreshold`	設定預測分數門檻，覆寫模型中繼資料 (如有) 中提供的分數門檻。這個值下方的結果遭到拒絕。	[0.0、1.0]	未設定
`categoryAllowlist`	設定允許的類別名稱 (選用)。如果不是空白，系統會篩除類別名稱不在這個組合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 `categoryDenylist` 互斥，且同時使用兩者會導致錯誤。	任何字串	未設定
`categoryDenylist`	設定不允許使用的類別名稱清單。如果不是空白，系統會篩除類別名稱在此集合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 `categoryAllowlist` 互斥，且同時使用兩者會導致錯誤。	任何字串	未設定

準備資料

音訊分類器適用於音訊片段和音訊串流，且可搭配主機瀏覽器支援的任何格式使用音訊檔案。這項工作會處理資料輸入的預先處理作業，包括重新取樣、緩衝和取景。

執行工作

音訊分類器會使用 classify() 方法執行音訊片段檔案或音訊串流的推論。Audio Classifier API 會針對輸入音訊中可辨識的音訊事件傳回可能的類別。

對音訊分類器 classify() 方法發出的呼叫會同步執行，並封鎖使用者介面執行緒。如果您將裝置麥克風中的音訊分類，每個分類都會封鎖主執行緒。如要避免發生這種情形，請在其他執行緒上實作網路工作站來執行 classify()。

下列程式碼示範如何使用工作模型執行處理作業：

音訊片段

// Create audio buffer
const sample = await response.arrayBuffer();
const audioBuffer = await audioCtx.decodeAudioData(sample);

// Use AudioClassifier to run classification
const results = audioClassifier.classify(
  audioBuffer.getChannelData(0),
  audioBuffer.sampleRate
);

音訊串流

stream = await navigator.mediaDevices.getUserMedia(constraints);
audioCtx = new AudioContext({ sampleRate: 16000 });

const source = audioCtx.createMediaStreamSource(stream);
const scriptNode = audioCtx.createScriptProcessor(16384, 1, 1);

scriptNode.onaudioprocess = function (audioProcessingEvent) {
  const inputBuffer = audioProcessingEvent.inputBuffer;
  let inputData = inputBuffer.getChannelData(0);

  // Classify the audio
  const result = audioClassifier.classify(inputData);
  const categories = result[0].classifications[0].categories;
};

如要進一步瞭解如何執行音訊分類器工作，請參閱程式碼範例。

處理並顯示結果

完成推論執行作業後，音訊分類器工作會傳回 AudioClassifierResult 物件，其中包含輸入音訊中物件的可能類別清單。

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

「音訊分類器」範例程式碼示範如何顯示工作傳回的分類結果，詳情請參閱程式碼範例。