Google AI Edge Portal 隆重推出：大規模基準測試 Edge AI。申請在非公開預先發布版期間要求存取權。

網頁版語音分類指南

MediaPipe 音訊分類器工作可對音訊資料執行分類。您可以使用這項工作，從一組訓練類別中識別聲音事件。這些操作說明會介紹如何使用 Node 和網頁應用程式的音訊分類器。

如要查看這項工作實際運作情形，請參閱示範。如要進一步瞭解這項工作的能力、模型和設定選項，請參閱總覽。

程式碼範例

音訊分類器範例程式碼提供這項工作的完整 JavaScript 實作內容，供您參考。這段程式碼可協助您測試這項工作，並開始建構自己的音訊分類應用程式。您只要使用網路瀏覽器，即可查看、執行及編輯音訊分類器範例。

設定

本節說明設定開發環境和程式碼專案的主要步驟，以便使用音訊分類器。如要瞭解如何設定開發環境以使用 MediaPipe 工作，包括平台版本需求，請參閱網頁設定指南。

JavaScript 套件

音訊分類器程式碼可透過 MediaPipe @mediapipe/tasks-audio NPM 套件取得。您可以透過平台設定指南提供的連結，尋找及下載這些程式庫。

您可以使用下列指令，為本機暫存環境安裝必要套件：

npm install @mediapipe/tasks-audio

如要透過內容傳遞聯播網 (CDN) 服務匯入工作程式碼，請在 HTML 檔案的標記中新增下列程式碼：

<!-- Replace "my-cdn-service.com" with your CDN -->
<head>
  <script src="https://my-cdn-service.com/npm/@mediapipe/tasks-audio/audio_bundle.js"
    crossorigin="anonymous"></script>
</head>

型號

MediaPipe 音訊分類器工作需要與這項工作相容的訓練模型。如要進一步瞭解音訊分類器可用的訓練模型，請參閱工作總覽的「模型」部分。

選取並下載模型，然後儲存在專案目錄中，例如：

<dev-project-root>/app/shared/models/

建立工作

使用其中一個 Audio Classifier createFrom...() 函式，準備執行推論作業。使用 createFromModelPath() 函式，搭配訓練好的模型檔案的相對或絕對路徑。如果模型已載入記憶體，可以使用 createFromModelBuffer() 方法。

下方程式碼範例說明如何使用 createFromOptions() 函式設定工作。createFromOptions 函式可讓您透過設定選項自訂音訊分類器。如要進一步瞭解設定選項，請參閱「設定選項」。

下列程式碼示範如何使用自訂選項建構及設定工作：

const audio = await FilesetResolver.forAudioTasks(
    "https://my-cdn-service.com/npm/@mediapipe/tasks-audio/wasm"
  );

const audioClassifier = await AudioClassifier.createFromOptions(audio, {
    baseOptions: {
      modelAssetPath:
        "https://tfhub.dev/google/lite-model/yamnet/classification/tflite/1?lite-format=tflite"
    }
  });

如需完整範例，請參閱 example code。

設定選項

這項工作提供下列網頁和 JavaScript 應用程式的設定選項：

選項名稱	說明	值範圍	預設值
`displayNamesLocale`	如果工作模型的中繼資料提供顯示名稱，則設定要使用的標籤語言。英文的預設值為 `en`。您可以使用 TensorFlow Lite Metadata Writer API，為自訂模型的中繼資料新增本地化標籤。	地區代碼	en
`maxResults`	設定要傳回的最高分數分類結果數量上限 (選用)。如果 < 0，則會傳回所有可用的結果。	任何正數	`-1`
`scoreThreshold`	設定預測分數門檻，覆寫模型中繼資料 (如有) 提供的門檻。低於這個值的分數會遭到拒絕。	[0.0, 1.0]	未設定
`categoryAllowlist`	設定允許的類別名稱選用清單。如果這個集合不為空，系統會篩除類別名稱不在這個集合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 `categoryDenylist` 互斥，同時使用兩者會導致錯誤。	任何字串	未設定
`categoryDenylist`	設定選用的不允許類別名稱清單。如果非空白，系統會篩除類別名稱位於這個集合中的分類結果。系統會忽略重複或不明的類別名稱。這個選項與 `categoryAllowlist` 互斥，同時使用兩者會導致錯誤。	任何字串	未設定

準備資料

音訊分類器可處理音訊片段和音訊串流，以及主機瀏覽器支援的任何格式音訊檔案。這項工作會處理資料輸入的預先處理作業，包括重新取樣、緩衝處理和成幀。

執行工作

音訊分類器會使用 classify() 方法，對音訊片段檔案或音訊串流執行推論。Audio Classifier API 會傳回輸入音訊中辨識到的音訊事件可能類別。

對 Audio Classifier classify() 方法的呼叫會同步執行，並封鎖使用者介面執行緒。如果分類裝置麥克風的音訊，每次分類都會阻斷主執行緒。您可以實作 Web Worker，在其他執行緒上執行 classify()，避免發生這種情況。

下列程式碼示範如何使用工作模型執行處理作業：

音訊片段

// Create audio buffer
const sample = await response.arrayBuffer();
const audioBuffer = await audioCtx.decodeAudioData(sample);

// Use AudioClassifier to run classification
const results = audioClassifier.classify(
  audioBuffer.getChannelData(0),
  audioBuffer.sampleRate
);

音訊串流

stream = await navigator.mediaDevices.getUserMedia(constraints);
audioCtx = new AudioContext({ sampleRate: 16000 });

const source = audioCtx.createMediaStreamSource(stream);
const scriptNode = audioCtx.createScriptProcessor(16384, 1, 1);

scriptNode.onaudioprocess = function (audioProcessingEvent) {
  const inputBuffer = audioProcessingEvent.inputBuffer;
  let inputData = inputBuffer.getChannelData(0);

  // Classify the audio
  const result = audioClassifier.classify(inputData);
  const categories = result[0].classifications[0].categories;
};

如要瞭解如何更完整地實作音訊分類器工作，請參閱範例。

處理及顯示結果

完成推論執行後，音訊分類器工作會傳回 AudioClassifierResult 物件，其中包含輸入音訊中物件的可能類別清單。

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

音訊分類器範例程式碼會顯示工作傳回的分類結果，詳情請參閱範例。