คำแนะนำการแยกประเภทเสียงสำหรับ Python

งาน MediaPipe Audio Classifier ให้คุณจำแนกข้อมูลเสียงได้ คุณสามารถ ใช้งานนี้เพื่อระบุกิจกรรมที่มีเสียงจากชุดหมวดหมู่ที่ได้รับการฝึก เหล่านี้ แสดงวิธีใช้ตัวแยกประเภทเสียงกับ Python

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความสามารถ โมเดล และตัวเลือกการกำหนดค่า ของงานนี้ โปรดดูภาพรวม

ตัวอย่างโค้ด

โค้ดตัวอย่างสำหรับตัวแยกประเภทเสียงมีการติดตั้งใช้งานอย่างสมบูรณ์ ใน Python เพื่อใช้เป็นข้อมูลอ้างอิง โค้ดนี้จะช่วยคุณทดสอบงานนี้และรับ เริ่มสร้างตัวแยกประเภทเสียงของคุณเอง คุณสามารถดู เรียกใช้ และแก้ไข ตัวอย่างตัวแยกประเภทเสียง โค้ด โดยใช้เพียงเว็บเบราว์เซอร์กับ Google Colab คุณสามารถดูซอร์สโค้ดสำหรับ ตัวอย่างนี้บน GitHub

ถ้าคุณใช้ตัวแยกประเภทเสียงสำหรับ Raspberry Pi โปรดดูที่ ตัวอย่างของ Raspberry Pi แอป

ตั้งค่า

ส่วนนี้จะอธิบายขั้นตอนสำคัญในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ และ เพื่อใช้แยกประเภทเสียงโดยเฉพาะ สำหรับข้อมูลทั่วไปเกี่ยวกับ การตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ของคุณสำหรับการใช้งาน MediaPipe ซึ่งรวมถึง ข้อกำหนดด้านเวอร์ชันของแพลตฟอร์ม โปรดดูคู่มือการตั้งค่าสำหรับ Python

แพ็กเกจ

ตัวแยกประเภทเสียงจะทำงานกับแพ็กเกจ Mediapไปป์ คุณสามารถติดตั้ง Dependency ต่อไปนี้ด้วย

$ python -m pip install mediapipe

การนำเข้า

นำเข้าคลาสต่อไปนี้เพื่อเข้าถึงฟังก์ชันงานของเครื่องมือแยกประเภทเสียง

import mediapipe as mp
from mediapipe.tasks import python
from mediapipe.tasks.python import audio

รุ่น

งานตัวแยกประเภทเสียงของ MediaPipe ต้องใช้โมเดลที่ผ่านการฝึกและใช้งานได้กับ งาน ดูข้อมูลเพิ่มเติมเกี่ยวกับโมเดลที่ผ่านการฝึกที่ใช้ได้กับตัวแยกประเภทเสียงได้ที่ ภาพรวมงานส่วนโมเดล

เลือกและดาวน์โหลดโมเดล แล้วจัดเก็บไว้ในไดเรกทอรีในเครื่อง คุณสามารถใช้ แนะนำ Yamnet โมเดล

model_path = '/absolute/path/to/lite-model_yamnet_classification_tflite_1.tflite'

ระบุเส้นทางของโมเดลภายในพารามิเตอร์ชื่อโมเดลดังที่แสดงด้านล่าง

base_options = BaseOptions(model_asset_path=model_path)

สร้างงาน

ใช้ฟังก์ชัน create_from_options เพื่อสร้างงาน ฟังก์ชัน create_from_options ยอมรับตัวเลือกการกำหนดค่ารวมถึงการเรียกใช้ โหมด ภาษาของชื่อที่แสดง จำนวนผลลัพธ์สูงสุด เกณฑ์ความเชื่อมั่น รายการอนุญาตหมวดหมู่ และรายการปฏิเสธ ดูข้อมูลเพิ่มเติมเกี่ยวกับการกำหนดค่า โปรดดูที่ภาพรวมการกำหนดค่า

งานตัวแยกประเภทเสียงรองรับอินพุตคลิปเสียงและสตรีมเสียง คุณ ต้องระบุโหมดการทำงานที่สอดคล้องกับประเภทข้อมูลอินพุตของคุณเมื่อ กำลังสร้างงาน เลือกแท็บที่สอดคล้องกับประเภทข้อมูลอินพุตเพื่อดู วิธีสร้างงานและเรียกใช้การอนุมาน

AudioClassifier = mp.tasks.audio.AudioClassifier
AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions
AudioRunningMode = mp.tasks.audio.RunningMode
BaseOptions = mp.tasks.BaseOptions

options = AudioClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    max_results=5,
    running_mode=AudioRunningMode.AUDIO_CLIPS)

with AudioClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
    

AudioClassifier = mp.tasks.audio.AudioClassifier
AudioClassifierOptions = mp.tasks.audio.AudioClassifierOptions
AudioClassifierResult = mp.tasks.audio.AudioClassifierResult
AudioRunningMode = mp.tasks.audio.RunningMode
BaseOptions = mp.tasks.BaseOptions

def print_result(result: AudioClassifierResult, timestamp_ms: int):
    print(AudioClassifierResult result: {}’.format(result))

options = AudioClassifierOptions(
    base_options=BaseOptions(model_asset_path='/path/to/model.tflite'),
    running_mode=AudioRunningMode.AUDIO_STREAM,
    max_results=5,
    result_callback=print_result)

with AudioClassifier.create_from_options(options) as classifier:
  # The classifier is initialized. Use it here.
  # ...
  

สำหรับตัวอย่างที่สมบูรณ์ของการสร้างตัวแยกประเภทเสียงเพื่อใช้กับเสียง โปรดดูที่ รหัส ตัวอย่าง

ตัวเลือกการกำหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้สำหรับแอปพลิเคชัน Python

เตรียมข้อมูล

ตัวแยกประเภทเสียงใช้งานได้กับคลิปเสียงและสตรีมเสียง โดยงานดังกล่าวจะจัดการ การประมวลผลอินพุตข้อมูลล่วงหน้า ซึ่งรวมถึงการสุ่มตัวอย่าง การบัฟเฟอร์ และการเฟรม

จัดเตรียมอินพุตของคุณเป็นไฟล์เสียงหรืออาร์เรย์ numpy แล้วแปลงเป็น ออบเจ็กต์ AudioData ของ MediaPipe คุณสามารถใช้ไลบรารีภายนอก เช่น SciPy เพื่อโหลดเสียงอินพุตเป็นอาร์เรย์จำนวน

ตัวอย่างต่อไปนี้จะอธิบายและแสดงวิธีเตรียมข้อมูลสำหรับการประมวลผลข้อมูล ประเภทข้อมูลที่พร้อมใช้งานแต่ละประเภทมีดังนี้

import numpy as np
from scipy.io import wavfile

AudioData = mp.tasks.components.containers.AudioData

sample_rate, buffer = wavfile.read('/path/to/audio.wav')
audio_data = AudioData.create_from_array(
    buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
    

import numpy as np

AudioData = mp.tasks.components.containers.AudioData

# Read microphone data as np arrays, then call

audio_data = AudioData.create_from_array(
    buffer.astype(float) / np.iinfo(np.int16).max, sample_rate)
    

เรียกใช้งาน

คุณเรียกใช้ฟังก์ชันจัดประเภทที่สอดคล้องกับโหมดการวิ่งเพื่อทริกเกอร์ การอนุมาน Audio Classifier API จะแสดงผลหมวดหมู่เสียงที่เป็นไปได้ เหตุการณ์ภายในบัฟเฟอร์เสียงอินพุต

# Perform audio classification on the provided audio clip.
audio_classifier_result_list = classifier.classify(audio_data)
    

# Send live audio data to perform audio classification.
# Results are sent to the `result_callback` provided in the `AudioClassifierOptions`
classifier.classify_async(audio_data, timestamp_ms)
    

โปรดทราบดังต่อไปนี้

• เมื่อทำงานในโหมดสตรีมเสียง คุณต้องระบุ ตัวแยกประเภทเสียงจะทำงานกับการประทับเวลาของข้อมูลเสียงอินพุต
• เมื่อทำงานในรูปแบบคลิปเสียง งานตัวแยกประเภทเสียงจะบล็อก เทรดปัจจุบันจนกว่าจะประมวลผลเสียงอินพุตเสร็จสิ้น

สำหรับตัวอย่างที่สมบูรณ์ยิ่งขึ้นของการเรียกใช้ตัวแยกประเภทเสียงกับคลิปเสียง โปรดดูที่ รหัส ตัวอย่าง

จัดการและแสดงผลลัพธ์

เมื่อใช้การอนุมาน งานตัวแยกประเภทเสียงจะแสดงผล ออบเจ็กต์ AudioClassifierResult รายการที่มีรายการหมวดหมู่ที่เป็นไปได้ สำหรับเหตุการณ์ที่มีเสียงภายในอินพุตของเสียง

ตัวอย่างต่อไปนี้แสดงตัวอย่างข้อมูลเอาต์พุตจากงานนี้

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

โค้ดตัวอย่างของตัวแยกประเภทเสียงแสดงวิธีแสดงการแยกประเภท ผลลัพธ์ที่แสดง จากงานนี้ โปรดดู โค้ด ตัวอย่าง เพื่อดูรายละเอียด