Python 音频分类指南

借助 MediaPipe 音频分类器任务，您可以对音频数据进行分类。您可以使用此任务从一组经过训练的类别中识别声音事件。以下说明介绍了如何在 Python 中使用音频分类器。

如需详细了解此任务的功能、模型和配置选项，请参阅概览。

代码示例

音频分类器的示例代码在 Python 中提供了此任务的完整实现，供您参考。此代码可帮助您测试此任务并开始构建自己的音频分类器。借助 Google Colab，您只需使用网络浏览器，即可查看、运行和修改音频分类器示例代码。您可以在 GitHub 上查看此示例的源代码。

如果您要为 Raspberry Pi 实现音频分类器，请参阅 Raspberry Pi 示例应用。

初始设置

本部分介绍了专门针对使用音频分类器而设置开发环境和代码项目的关键步骤。如需了解如何为使用 MediaPipe 任务设置开发环境的一般信息（包括平台版本要求），请参阅 Python 设置指南。

软件包

音频分类器任务：mediapipe pip 软件包。您可以使用以下项安装依赖项：

$ python -m pip install mediapipe

导入

导入以下类来访问音频分类器任务函数：

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import audio

模型

MediaPipe 音频分类器任务需要使用与此任务兼容的经过训练的模型。如需详细了解音频分类器可用的经过训练的模型，请参阅任务概览“模型”部分。

选择并下载模型，然后将其存储在本地目录中。您可以使用推荐的 Yamnet 模型。

model_path = '/absolute/path/to/lite-model_yamnet_classification_tflite_1.tflite'

在 Model Name 参数中指定模型的路径，如下所示：

base_options = BaseOptions(model_asset_path=model_path)

创建任务

使用 create_from_options 函数创建任务。create_from_options 函数接受配置选项，包括运行模式、显示名称语言区域、结果数上限、置信度阈值、类别许可名单和拒绝列表。如需详细了解配置选项，请参阅配置概览。

音频分类器任务支持将音频片段和音频流作为输入。您必须在创建任务时指定与输入数据类型对应的运行模式。选择与输入数据类型对应的标签页，了解如何创建任务并运行推断。

AudioClassifier = mp.tasks.audio.AudioClassifier
AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions
AudioRunningMode = mp.tasks.audio.RunningMode
BaseOptions = mp.tasks.BaseOptions

options = AudioClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=AudioRunningMode.AUDIO_CLIPS)

with AudioClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

AudioClassifier = mp.tasks.audio.AudioClassifier
AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions
AudioClassifierResult = mp.tasks.audio.AudioClassifierResult
AudioRunningMode = mp.tasks.audio.RunningMode
BaseOptions = mp.tasks.BaseOptions

def print_result(result: AudioClassifierResult, timestamp_ms: int):
    print(AudioClassifierResult result: {}’.format(result))

options = AudioClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=AudioRunningMode.AUDIO_STREAM,
    max_results=5,
    result_callback=print_result)

with AudioClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
  

如需查看创建用于音频的音频分类器的完整示例，请参阅代码示例。

配置选项

此任务为 Python 应用提供以下配置选项：

准备数据

音频分类器支持音频片段和音频流。该任务会处理数据输入预处理，包括重新采样、缓冲和取景。

准备您的输入作为音频文件或 Numpy 数组，然后将其转换为 MediaPipe AudioData 对象。您可以使用 SciPy 等外部库将输入音频加载为 Numpy 数组。

以下示例解释并展示了如何准备数据以处理每种可用数据类型：

import numpy as np
from scipy.io import wavfile

AudioData = mp.tasks.components.containers.AudioData

sample_rate, buffer = wavfile.read('/path/to/audio.wav')
audio_data = AudioData.create_from_array(
    buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
    

import numpy as np

AudioData = mp.tasks.components.containers.AudioData

# Read microphone data as np arrays, then call

audio_data = AudioData.create_from_array(
    buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
    

运行任务

您可以调用与跑步模式对应的分类函数来触发推断。Audio Classifier API 会返回输入音频缓冲区内音频事件的可能类别。

# Perform audio classification on the provided audio clip.
audio_classifier_result_list = classifier.classify(audio_data)
    

# Send live audio data to perform audio classification.
# Results are sent to the `result_callback` provided in the `AudioClassifierOptions`
classifier.classify_async(audio_data, timestamp_ms)
    

请注意以下几点：

• 在音频流模式下运行时，您还必须为音频分类器任务提供输入音频数据的时间戳。
• 在音频片段模型中运行时，音频分类器任务将阻塞当前线程，直到其处理完输入音频。

如需查看运行包含音频片段的音频分类器的更完整示例，请参阅代码示例。

处理和显示结果

运行推理后，音频分类器任务会返回一个 AudioClassifierResult 对象，其中包含输入音频中音频事件可能类别的列表。

下面显示了此任务的输出数据示例：

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

音频分类器示例代码演示了如何显示此任务返回的分类结果。如需了解详情，请参阅代码示例。