Hướng dẫn phân loại âm thanh cho Android

Tác vụ của Trình phân loại âm thanh MediaPipe cho phép bạn phân loại dữ liệu âm thanh. Bạn có thể sử dụng nhiệm vụ này để xác định các sự kiện âm thanh từ một tập hợp danh mục đã được huấn luyện. Các hướng dẫn này chỉ cho bạn cách sử dụng Trình phân loại âm thanh trên các ứng dụng Android.

Để biết thêm thông tin về các tính năng, mô hình và lựa chọn cấu hình của nhiệm vụ này, hãy xem phần Tổng quan.

Ví dụ về mã

Mã ví dụ về MediaPipe Tasks là một cách triển khai đơn giản của ứng dụng Trình phân loại âm thanh cho Android. Ví dụ này sử dụng micrô trên thiết bị Android thực để liên tục phân loại âm thanh, đồng thời cũng có thể chạy thuật toán phân loại trên các tệp âm thanh lưu trữ trên thiết bị.

Bạn có thể dùng ứng dụng làm điểm xuất phát cho ứng dụng Android của mình hoặc tham chiếu đến ứng dụng này khi sửa đổi một ứng dụng hiện có. Mã ví dụ của Trình phân loại âm thanh được lưu trữ trên GitHub.

Tải mã xuống

Hướng dẫn sau đây chỉ cho bạn cách tạo bản sao cục bộ của mã ví dụ bằng công cụ dòng lệnh git.

Cách tải mã ví dụ xuống:

1. Sao chép kho lưu trữ git bằng lệnh sau:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. Bạn có thể định cấu hình thực thể git để sử dụng quy trình thanh toán thưa thớt (không bắt buộc), nhờ đó bạn chỉ có các tệp cho ứng dụng mẫu của Trình phân loại âm thanh:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

Sau khi tạo phiên bản cục bộ của mã ví dụ, bạn có thể nhập dự án vào Android Studio và chạy ứng dụng. Để được hướng dẫn, hãy xem Hướng dẫn thiết lập dành cho Android.

Thành phần chính

Các tệp sau đây chứa mã quan trọng dành cho ứng dụng mẫu phân loại âm thanh này:

• AudioClassifierHelper.kt – Khởi chạy thuật toán phân loại âm thanh, đồng thời xử lý lựa chọn mô hình và uỷ quyền.
• RecorderFragment.kt – Tạo giao diện người dùng và mã điều khiển để ghi âm trực tiếp.
• LibraryFragment.kt – Tạo giao diện người dùng và mã điều khiển để chọn tệp âm thanh.
• ProbabilitiesAdapter.kt – Xử lý và định dạng kết quả dự đoán của thuật toán phân loại.

Thiết lập

Phần này mô tả các bước chính để thiết lập môi trường phát triển và các dự án mã dành riêng cho việc sử dụng Trình phân loại âm thanh. Để biết thông tin chung về cách thiết lập môi trường phát triển nhằm sử dụng các tác vụ của MediaPipe, bao gồm cả yêu cầu về phiên bản nền tảng, hãy xem Hướng dẫn thiết lập dành cho Android.

Phần phụ thuộc

Tính năng phân loại âm thanh sử dụng thư viện com.google.mediapipe:tasks-audio. Thêm phần phụ thuộc này vào tệp build.gradle của dự án phát triển ứng dụng Android. Nhập các phần phụ thuộc bắt buộc bằng mã sau:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

Mẫu

Tác vụ của Trình phân loại âm thanh MediaPipe cần có một mô hình đã qua huấn luyện tương thích với tác vụ này. Để biết thêm thông tin về các mô hình được huấn luyện hiện có cho Công cụ phân loại âm thanh, hãy xem phần Mô hình tổng quan về tác vụ.

Chọn và tải mô hình xuống rồi lưu trữ trong thư mục dự án của bạn:

<dev-project-root>/src/main/assets

Sử dụng phương thức BaseOptions.Builder.setModelAssetPath() để chỉ định đường dẫn mà mô hình sử dụng. Phương thức này được đề cập đến trong ví dụ về mã ở phần tiếp theo.

Trong mã ví dụ của Trình phân loại âm thanh, mô hình đó được xác định trong tệp AudioClassifierHelper.kt.

Tạo việc cần làm

Bạn có thể dùng hàm createFromOptions để tạo việc cần làm. Hàm createFromOptions chấp nhận các tuỳ chọn cấu hình, trong đó có chế độ chạy, ngôn ngữ của tên hiển thị, số lượng kết quả tối đa, ngưỡng tin cậy và danh sách cho phép hoặc danh sách từ chối của danh mục. Để biết thêm thông tin về các lựa chọn cấu hình, hãy xem phần Tổng quan về cấu hình.

Tác vụ của Trình phân loại âm thanh hỗ trợ các loại dữ liệu đầu vào sau: đoạn âm thanh và luồng âm thanh. Bạn cần chỉ định chế độ chạy tương ứng với loại dữ liệu đầu vào của mình khi tạo tác vụ. Chọn thẻ tương ứng với loại dữ liệu đầu vào của bạn để xem cách tạo tác vụ và chạy dự đoán.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

Việc triển khai mã ví dụ về Trình phân loại âm thanh cho phép người dùng chuyển đổi giữa các chế độ xử lý. Phương pháp này khiến mã tạo tác vụ trở nên phức tạp hơn và có thể không phù hợp với trường hợp sử dụng của bạn. Bạn có thể thấy mã chuyển đổi chế độ trong hàm initClassifier() của AudioClassifierHelper.

Các lựa chọn về cấu hình

Tác vụ này có các lựa chọn cấu hình sau đây cho ứng dụng Android:

Chuẩn bị dữ liệu

Trình phân loại âm thanh hoạt động với các đoạn âm thanh và luồng âm thanh. Nhiệm vụ này sẽ xử lý trước quá trình xử lý trước dữ liệu đầu vào, bao gồm cả việc lấy mẫu lại, lưu vào bộ đệm và lấy khung hình. Tuy nhiên, bạn phải chuyển đổi dữ liệu âm thanh đầu vào thành đối tượng com.google.mediapipe.tasks.components.containers.AudioData trước khi truyền đối tượng đó đến tác vụ của Trình phân loại âm thanh.

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

Chạy tác vụ

Bạn có thể gọi hàm classify tương ứng với chế độ đang chạy để kích hoạt các dự đoán. Audio Classifier API (API Phân loại âm thanh) trả về các danh mục có thể có cho các sự kiện âm thanh được nhận dạng trong dữ liệu âm thanh đầu vào.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

Xin lưu ý những điều sau:

• Khi chạy ở chế độ luồng âm thanh, bạn cũng phải cung cấp cho tác vụ Trình phân loại âm thanh có dấu thời gian để theo dõi dữ liệu âm thanh nào trong luồng được dùng để dự đoán.
• Khi chạy trong mô hình các đoạn âm thanh, tác vụ của Trình phân loại âm thanh sẽ chặn luồng hiện tại cho đến khi xử lý xong âm thanh đầu vào. Để tránh chặn phản hồi trên giao diện người dùng, hãy thực thi quá trình xử lý trong luồng ở chế độ nền.

Bạn có thể xem ví dụ về cách chạy Trình phân loại âm thanh với các đoạn âm thanh, xem lớp AudioClassifierHelper trong mã ví dụ.

Xử lý và hiển thị kết quả

Sau khi chạy dự đoán, nhiệm vụ của Trình phân loại âm thanh sẽ trả về một danh sách các danh mục có thể có cho các sự kiện âm thanh trong âm thanh đầu vào. Danh sách sau đây cho thấy một ví dụ về dữ liệu đầu ra của tác vụ này:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

Trong ứng dụng Android, tác vụ sẽ trả về một ClassificationResult chứa danh sách các đối tượng AudioClassifierResult, biểu thị nội dung dự đoán cho một sự kiện âm thanh, bao gồm cả nhãn danh mục và điểm số tin cậy.

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

Bạn có thể xem ví dụ về cách hiển thị kết quả phân loại được trả về từ tác vụ này trong lớp ProbabilitiesAdapter của mã ví dụ.