คำแนะนำในการแยกประเภทเสียงสำหรับ Android

งาน MediaPipe Audio Classifier ให้คุณจำแนกข้อมูลเสียงได้ คุณสามารถ ใช้งานนี้เพื่อระบุกิจกรรมที่มีเสียงจากชุดหมวดหมู่ที่ได้รับการฝึก เหล่านี้ แสดงวิธีใช้ตัวแยกประเภทเสียงกับแอป Android

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับความสามารถ โมเดล และตัวเลือกการกำหนดค่า ของงานนี้ โปรดดูภาพรวม

ตัวอย่างโค้ด

โค้ดตัวอย่าง MediaPipe Tasks เป็นการใช้งานตัวแยกประเภทเสียงแบบง่ายๆ แอปสำหรับ Android ตัวอย่างนี้ใช้ไมโครโฟนบนอุปกรณ์ Android จริงเพื่อ แยกประเภทเสียงอย่างต่อเนื่อง และใช้ตัวแยกประเภทในไฟล์เสียงได้ จัดเก็บอยู่ในอุปกรณ์

คุณสามารถใช้แอปนี้เป็นจุดเริ่มต้นสำหรับแอป Android ของคุณเอง หรืออ้างอิงถึงแอปนั้น เมื่อแก้ไขแอปที่มีอยู่ โค้ดตัวอย่างตัวแยกประเภทเสียงโฮสต์อยู่บน GitHub

ดาวน์โหลดโค้ด

วิธีการต่อไปนี้แสดงวิธีสร้างสำเนาตัวอย่างในเครื่อง โดยใช้เครื่องมือบรรทัดคำสั่ง git

วิธีดาวน์โหลดโค้ดตัวอย่าง

1. โคลนที่เก็บ Git โดยใช้คำสั่งต่อไปนี้

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. คุณสามารถกำหนดค่าอินสแตนซ์ Git ให้ใช้การชำระเงินแบบกระจัดกระจายได้ เพื่อให้คุณมีเพียงไฟล์สำหรับแอปตัวอย่างตัวแยกประเภทเสียงเท่านั้น

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

หลังจากสร้างโค้ดตัวอย่างในเวอร์ชันในเครื่องแล้ว คุณจะนำเข้าโปรเจ็กต์ได้ ลงใน Android Studio และเรียกใช้แอป ดูวิธีการได้ที่ คู่มือการการตั้งค่าสำหรับ Android

องค์ประกอบสำคัญ

ไฟล์ต่อไปนี้มีโค้ดที่สำคัญสำหรับเสียงนี้ แอปพลิเคชันตัวอย่างการจัดประเภท:

• AudioClassifierHelper.kt - เริ่มต้นตัวแยกประเภทเสียงและจัดการโมเดลและมอบสิทธิ์ มากมาย
• RecorderFragment.kt - สร้างอินเทอร์เฟซผู้ใช้และควบคุมโค้ดสำหรับการบันทึกเสียงสด
• LibraryFragment.kt สร้างอินเทอร์เฟซผู้ใช้และรหัสควบคุมสำหรับการเลือกไฟล์เสียง
• ProbabilitiesAdapter.kt แฮนเดิลและจัดรูปแบบผลการคาดการณ์ของตัวแยกประเภท

ตั้งค่า

ส่วนนี้จะอธิบายขั้นตอนสำคัญในการตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ และ เพื่อใช้แยกประเภทเสียงโดยเฉพาะ สำหรับข้อมูลทั่วไปเกี่ยวกับ การตั้งค่าสภาพแวดล้อมในการพัฒนาซอฟต์แวร์ของคุณสำหรับการใช้งาน MediaPipe ซึ่งรวมถึง โปรดดูข้อกำหนดเวอร์ชันของแพลตฟอร์ม คู่มือการตั้งค่าสำหรับ Android

การอ้างอิง

ตัวแยกประเภทเสียงใช้ไลบรารี com.google.mediapipe:tasks-audio เพิ่มรายการนี้ จะขึ้นอยู่กับไฟล์ build.gradle ของไฟล์ โปรเจ็กต์การพัฒนาแอป Android นำเข้าทรัพยากร Dependency ที่จำเป็นด้วย โค้ดต่อไปนี้

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

รุ่น

งานตัวแยกประเภทเสียงของ MediaPipe ต้องใช้โมเดลที่ผ่านการฝึกและใช้งานได้กับ งาน ดูข้อมูลเพิ่มเติมเกี่ยวกับโมเดลที่ผ่านการฝึกที่ใช้ได้กับตัวแยกประเภทเสียงได้ที่ ภาพรวมงานส่วนโมเดล

เลือกและดาวน์โหลดโมเดล จากนั้นเก็บโมเดลไว้ในไดเรกทอรีโปรเจ็กต์ของคุณ:

<dev-project-root>/src/main/assets

ใช้เมธอด BaseOptions.Builder.setModelAssetPath() เพื่อระบุเส้นทาง ที่โมเดลใช้อยู่ มีการอ้างอิงเมธอดนี้ในตัวอย่างโค้ดถัดไป

ใน โค้ดตัวอย่างตัวแยกประเภทเสียง มีการกำหนดโมเดลในAudioClassifierHelper.kt

สร้างงาน

คุณใช้ฟังก์ชัน createFromOptions เพื่อสร้างงานได้ ฟังก์ชัน createFromOptions ยอมรับตัวเลือกการกำหนดค่ารวมถึงการเรียกใช้ โหมด ภาษาของชื่อที่แสดง จำนวนผลลัพธ์สูงสุด เกณฑ์ความเชื่อมั่น และรายการที่อนุญาตหรือรายการปฏิเสธหมวดหมู่ ดูข้อมูลเพิ่มเติมเกี่ยวกับการกำหนดค่า โปรดดูที่ภาพรวมการกำหนดค่า

งานตัวแยกประเภทเสียงรองรับอินพุตประเภทข้อมูลต่อไปนี้ คลิปเสียง และสตรีมเสียง คุณต้องระบุโหมดการทำงานที่สอดคล้องกับ ประเภทข้อมูลอินพุตเมื่อสร้างงาน เลือกแท็บที่ตรงกับ ประเภทข้อมูลอินพุตเพื่อดูวิธีสร้างงานและเรียกใช้การอนุมาน

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

การใช้โค้ดตัวอย่างของตัวแยกประเภทเสียงช่วยให้ผู้ใช้สลับระหว่าง โหมดการประมวลผลข้อมูล วิธีนี้ทำให้โค้ดการสร้างงานซับซ้อนขึ้นและ อาจไม่เหมาะกับกรณีการใช้งานของคุณ คุณจะเห็นรหัสการเปลี่ยนโหมด ในฟังก์ชัน initClassifier() ของ AudioClassifierHelper

ตัวเลือกการกำหนดค่า

งานนี้มีตัวเลือกการกำหนดค่าต่อไปนี้สำหรับแอป Android

เตรียมข้อมูล

ตัวแยกประเภทเสียงใช้งานได้กับคลิปเสียงและสตรีมเสียง งาน จัดการการประมวลผลอินพุตข้อมูลล่วงหน้า ซึ่งรวมถึงการสุ่มตัวอย่าง การบัฟเฟอร์ และการเฟรม อย่างไรก็ตาม คุณจะต้องแปลงข้อมูลเสียงอินพุตเป็น com.google.mediapipe.tasks.components.containers.AudioData ก่อนที่จะส่งไปยังงานตัวแยกประเภทเสียง

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

เรียกใช้งาน

คุณสามารถเรียกใช้ฟังก์ชัน classify ตามโหมดการวิ่งเพื่อ ทำให้เกิดการอนุมาน Audio Classifier API แสดงหมวดหมู่ที่เป็นไปได้สำหรับ กิจกรรมที่มีเสียง ซึ่งรับรู้ได้ภายในข้อมูลเสียงที่อินพุต

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

โปรดทราบดังต่อไปนี้

• เมื่อทำงานในโหมดสตรีมเสียง คุณต้องระบุ งานตัวแยกประเภทเสียงที่มีการประทับเวลาเพื่อติดตามข้อมูลเสียงภายใน สตรีมที่ใช้เพื่อการอนุมาน
• เมื่อเรียกใช้ในรูปแบบคลิปเสียง งานตัวแยกประเภทเสียงจะบล็อก ชุดข้อความปัจจุบันจนกว่าจะประมวลผลเสียงอินพุตเสร็จสิ้น หากต้องการหลีกเลี่ยงการบล็อกการตอบกลับของอินเทอร์เฟซผู้ใช้ ให้ดำเนินการประมวลผลใน เทรดพื้นหลัง

คุณสามารถดูตัวอย่างการเรียกใช้ตัวแยกประเภทเสียงกับคลิปเสียงได้ที่ AudioClassifierHelper ชั้นเรียนใน ตัวอย่างโค้ด

จัดการและแสดงผลลัพธ์

หลังจากเรียกใช้การอนุมาน งานตัวแยกประเภทเสียงจะแสดงรายการที่เป็นไปได้ หมวดหมู่สำหรับกิจกรรมที่มีเสียงภายในอินพุตของเสียง รายชื่อต่อไปนี้ แสดงตัวอย่างข้อมูลเอาต์พุตจากงานนี้

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

ในแอป Android งานจะแสดง ClassificationResult ซึ่งมี รายการออบเจ็กต์ AudioClassifierResult รายการ ซึ่งแสดงการคาดการณ์สำหรับ เหตุการณ์เสียง รวมถึงป้ายกำกับหมวดหมู่และคะแนนความเชื่อมั่น

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

คุณสามารถดูตัวอย่างวิธีแสดงการแยกประเภท ผลลัพธ์ที่แสดงจากงานนี้ในชั้นเรียน ProbabilitiesAdapter ของ ตัวอย่างโค้ด