借助 MediaPipe 音频分类器任务,您可以对音频数据进行分类。您可以使用此任务从一组经过训练的类别中识别声音事件。以下说明介绍了如何在 Python 中使用音频分类器。
如需详细了解此任务的功能、模型和配置选项,请参阅概览。
代码示例
音频分类器的示例代码在 Python 中提供了此任务的完整实现,供您参考。此代码可帮助您测试此任务并开始构建自己的音频分类器。借助 Google Colab,您只需使用网络浏览器,即可查看、运行和修改音频分类器示例代码。您可以在 GitHub 上查看此示例的源代码。
如果您要为 Raspberry Pi 实现音频分类器,请参阅 Raspberry Pi 示例应用。
初始设置
本部分介绍了专门针对使用音频分类器而设置开发环境和代码项目的关键步骤。如需了解如何为使用 MediaPipe 任务设置开发环境的一般信息(包括平台版本要求),请参阅 Python 设置指南。
软件包
音频分类器任务:mediapipe pip 软件包。您可以使用以下项安装依赖项:
$ python -m pip install mediapipe
导入
导入以下类来访问音频分类器任务函数:
import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import audio
模型
MediaPipe 音频分类器任务需要使用与此任务兼容的经过训练的模型。如需详细了解音频分类器可用的经过训练的模型,请参阅任务概览“模型”部分。
选择并下载模型,然后将其存储在本地目录中。您可以使用推荐的 Yamnet 模型。
model_path = '/absolute/path/to/lite-model_yamnet_classification_tflite_1.tflite'
在 Model Name 参数中指定模型的路径,如下所示:
base_options = BaseOptions(model_asset_path=model_path)
创建任务
使用 create_from_options
函数创建任务。create_from_options
函数接受配置选项,包括运行模式、显示名称语言区域、结果数上限、置信度阈值、类别许可名单和拒绝列表。如需详细了解配置选项,请参阅配置概览。
音频分类器任务支持将音频片段和音频流作为输入。您必须在创建任务时指定与输入数据类型对应的运行模式。选择与输入数据类型对应的标签页,了解如何创建任务并运行推断。
音频片段
AudioClassifier = mp.tasks.audio.AudioClassifier AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions AudioRunningMode = mp.tasks.audio.RunningMode BaseOptions = mp.tasks.BaseOptions options = AudioClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), max_results=5, running_mode=AudioRunningMode.AUDIO_CLIPS) with AudioClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
音频流
AudioClassifier = mp.tasks.audio.AudioClassifier AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions AudioClassifierResult = mp.tasks.audio.AudioClassifierResult AudioRunningMode = mp.tasks.audio.RunningMode BaseOptions = mp.tasks.BaseOptions def print_result(result: AudioClassifierResult, timestamp_ms: int): print(AudioClassifierResult result: {}’.format(result)) options = AudioClassifierOptions( base_options=BaseOptions(model_asset_path='/path/to/model.tflite'), running_mode=AudioRunningMode.AUDIO_STREAM, max_results=5, result_callback=print_result) with AudioClassifier.create_from_options(options) as classifier: # The classifier is initialized. Use it here. # ...
如需查看创建用于音频的音频分类器的完整示例,请参阅代码示例。
配置选项
此任务为 Python 应用提供以下配置选项:
选项名称 | 说明 | 值范围 | 默认值 |
---|---|---|---|
running_mode |
设置任务的运行模式。音频分类器有两种模式: AUDIO_CLIPS:针对独立音频片段运行音频任务的模式。 AUDIO_STREAM:在音频流(例如来自麦克风)上运行音频任务的模式。在此模式下,必须调用 resultListener,以设置监听器以异步接收分类结果。 |
{AUDIO_CLIPS, AUDIO_STREAM } |
AUDIO_CLIPS |
display_names_locale |
设置任务模型元数据中提供的显示名(如果有)要使用的标签语言。英语的默认值为 en 。您可以使用 TensorFlow Lite Metadata Writer API 向自定义模型的元数据添加本地化标签。 | 语言区域代码 | en |
max_results |
设置要返回的得分最高的分类结果的数量上限(可选)。如果小于 0,将返回所有可用的结果。 | 任何正数 | -1 |
score_threshold |
设置预测分数阈值,以替换模型元数据中提供的阈值(如果有)。低于此值的结果会被拒绝。 | [0.0, 1.0] | 未设置 |
category_allowlist |
设置允许的类别名称的可选列表。如果为非空,则类别名称不在此集合中的分类结果将被滤除。系统会忽略重复或未知的类别名称。
此选项与 category_denylist 互斥,如果同时使用这两者,就会引发错误。 |
任何字符串 | 未设置 |
category_denylist |
设置不允许使用的类别名称的可选列表。如果非空,则类别名称在此集合中的分类结果将被滤除。系统会忽略重复或未知的类别名称。此选项与 category_allowlist 互斥,同时使用这两者会导致错误。 |
任何字符串 | 未设置 |
result_callback |
将结果监听器设置为在音频分类器处于音频流模式时异步接收分类结果。只能在跑步模式设为“AUDIO_STREAM ”时使用 |
N/A | 未设置 |
准备数据
音频分类器支持音频片段和音频流。该任务会处理数据输入预处理,包括重新采样、缓冲和取景。
准备您的输入作为音频文件或 Numpy 数组,然后将其转换为 MediaPipe AudioData
对象。您可以使用 SciPy 等外部库将输入音频加载为 Numpy 数组。
以下示例解释并展示了如何准备数据以处理每种可用数据类型:
音频片段
import numpy as np from scipy.io import wavfile AudioData = mp.tasks.components.containers.AudioData sample_rate, buffer = wavfile.read('/path/to/audio.wav') audio_data = AudioData.create_from_array( buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
音频流
import numpy as np AudioData = mp.tasks.components.containers.AudioData # Read microphone data as np arrays, then call audio_data = AudioData.create_from_array( buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
运行任务
您可以调用与跑步模式对应的分类函数来触发推断。Audio Classifier API 会返回输入音频缓冲区内音频事件的可能类别。
音频片段
# Perform audio classification on the provided audio clip. audio_classifier_result_list = classifier.classify(audio_data)
音频流
# Send live audio data to perform audio classification. # Results are sent to the `result_callback` provided in the `AudioClassifierOptions` classifier.classify_async(audio_data, timestamp_ms)
请注意以下几点:
- 在音频流模式下运行时,您还必须为音频分类器任务提供输入音频数据的时间戳。
- 在音频片段模型中运行时,音频分类器任务将阻塞当前线程,直到其处理完输入音频。
如需查看运行包含音频片段的音频分类器的更完整示例,请参阅代码示例。
处理和显示结果
运行推理后,音频分类器任务会返回一个 AudioClassifierResult
对象,其中包含输入音频中音频事件可能类别的列表。
下面显示了此任务的输出数据示例:
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
音频分类器示例代码演示了如何显示此任务返回的分类结果。如需了解详情,请参阅代码示例。