Ses sınıflandırıcıları entegre etme

Ses sınıflandırma, makine öğreniminin verileri sınıflandırmak için ses türleri. Örneğin, kuş türlerini şarkılarından tanıyabilir.

Özel ses kayıtlarınızı dağıtmak için Task Library AudioClassifier API kullanılabilir veya önceden eğitilmiş olanları kullanarak ekleyebilirsiniz.

AudioClassifier API'nin temel özellikleri

Giriş sesi işleme, ör. PCM 16 bit kodlamasını PCM'ye dönüştürme Kayan noktalı kodlama ve ses zili arabelleğinin değiştirilmesi.
Harita yerel ayarını etiketle.
Çok kafalı sınıflandırma modeli destekleniyor.
Hem tek etiketli hem de çok etiketli sınıflandırmayı destekler.
Sonuçları filtrelemek için puan eşiği.
Top-k sınıflandırma sonuçları.
Etiket izin verilenler listesi ve ret listesi.

Desteklenen ses sınıflandırıcı modelleri

Aşağıdaki modellerin AudioClassifier ile uyumlu olacağı garanti edilir API'ye gidin.

Modeli oluşturan: Ses Sınıflandırma için TensorFlow Lite Model Oluşturucu.
İlgili içeriği oluşturmak için kullanılan TensorFlow Hub'daki önceden eğitilmiş ses etkinliği sınıflandırma modelleri.
Şu koşulları karşılayan özel modeller: model uyumluluk koşullarını karşılayın.

Java'da çıkarım çalıştırma

Bkz. Ses Sınıflandırma referans uygulaması AudioClassifier örneğine bakalım.

1. Adım: Gradle bağımlılığını ve diğer ayarları içe aktarın

.tflite model dosyasını Android modülünün öğe dizinine kopyalayın nerede çalıştırılacağı. Dosyanın sıkıştırılmaması gerektiğini belirtin ve modülün build.gradle dosyasına TensorFlow Lite kitaplığını ekleyin:

android {
    // Other settings

    // Specify that the tflite file should not be compressed when building the APK package.
    aaptOptions {
        noCompress "tflite"
    }
}

dependencies {
    // Other dependencies

    // Import the Audio Task Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-audio:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

2. Adım: Modeli kullanma

// Initialization
AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setMaxResults(1)
        .build();
AudioClassifier classifier =
    AudioClassifier.createFromFileAndOptions(context, modelFile, options);

// Start recording
AudioRecord record = classifier.createAudioRecord();
record.startRecording();

// Load latest audio samples
TensorAudio audioTensor = classifier.createInputTensorAudio();
audioTensor.load(record);

// Run inference
List<Classifications> results = audioClassifier.classify(audioTensor);

Bkz. kaynak kodu ve javadoc daha fazla AudioClassifier yapılandırma seçeneğine gidin.

iOS'te çıkarım çalıştır

1. Adım: Bağımlılıkları yükleyin

Görev Kitaplığı, CocoaPods kullanılarak yüklemeyi destekler. CocoaPods'un sisteminizde yüklü. Daha fazla bilgi için lütfen CocoaPods kurulum kılavuzu başlıklı bölüme bakın.

Daha fazla bilgi için lütfen CocoaPods rehberi: Xcode projesine kapsüller ekleme hakkında ayrıntılı bilgi edinin.

TensorFlowLiteTaskAudio kapsülünü Podfile'a ekleyin.

target 'MyAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskAudio'
end

Çıkarım için kullanacağınız .tflite modelinin mevcut olduğundan emin olun uygulamanızı sağlar.

2. Adım: Modeli kullanma

Swift

// Imports
import TensorFlowLiteTaskAudio
import AVFoundation

// Initialization
guard let modelPath = Bundle.main.path(forResource: "sound_classification",
                                            ofType: "tflite") else { return }

let options = AudioClassifierOptions(modelPath: modelPath)

// Configure any additional options:
// options.classificationOptions.maxResults = 3

let classifier = try AudioClassifier.classifier(options: options)

// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
let audioTensor = classifier.createInputAudioTensor()

// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
let audioRecord = try classifier.createAudioRecord()

// Request record permissions from AVAudioSession before invoking audioRecord.startRecording().
AVAudioSession.sharedInstance().requestRecordPermission { granted in
    if granted {
        DispatchQueue.main.async {
            // Start recording the incoming audio samples from the on-device microphone.
            try audioRecord.startRecording()

            // Load the samples currently held by the audio record buffer into the audio tensor.
            try audioTensor.load(audioRecord: audioRecord)

            // Run inference
            let classificationResult = try classifier.classify(audioTensor: audioTensor)
        }
    }
}

Objective-C

// Imports
#import <TensorFlowLiteTaskAudio/TensorFlowLiteTaskAudio.h>
#import <AVFoundation/AVFoundation.h>

// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"sound_classification" ofType:@"tflite"];

TFLAudioClassifierOptions *options =
    [[TFLAudioClassifierOptions alloc] initWithModelPath:modelPath];

// Configure any additional options:
// options.classificationOptions.maxResults = 3;

TFLAudioClassifier *classifier = [TFLAudioClassifier audioClassifierWithOptions:options
                                                                          error:nil];

// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
TFLAudioTensor *audioTensor = [classifier createInputAudioTensor];

// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
TFLAudioRecord *audioRecord = [classifier createAudioRecordWithError:nil];

// Request record permissions from AVAudioSession before invoking -[TFLAudioRecord startRecordingWithError:].
[[AVAudioSession sharedInstance] requestRecordPermission:^(BOOL granted) {
    if (granted) {
        dispatch_async(dispatch_get_main_queue(), ^{
            // Start recording the incoming audio samples from the on-device microphone.
            [audioRecord startRecordingWithError:nil];

            // Load the samples currently held by the audio record buffer into the audio tensor.
            [audioTensor loadAudioRecord:audioRecord withError:nil];

            // Run inference
            TFLClassificationResult *classificationResult =
                [classifier classifyWithAudioTensor:audioTensor error:nil];

        });
    }
}];

Bkz. kaynak kod daha fazla TFLAudioClassifier yapılandırma seçeneğine gidin.

Python'da çıkarım çalıştırma

1. Adım: Pip paketini yükleyin

pip install tflite-support

Linux: sudo apt-get update && apt-get install libportaudio2 komutunu çalıştırın
Mac ve Windows: PortAudio, tflite-support pip paketi.

2. Adım: Modeli kullanma

# Imports
from tflite_support.task import audio
from tflite_support.task import core
from tflite_support.task import processor

# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = audio.AudioClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = audio.AudioClassifier.create_from_options(options)

# Alternatively, you can create an audio classifier in the following manner:
# classifier = audio.AudioClassifier.create_from_file(model_path)

# Run inference
audio_file = audio.TensorAudio.create_from_wav_file(audio_path, classifier.required_input_buffer_size)
audio_result = classifier.classify(audio_file)

Bkz. kaynak kod daha fazla AudioClassifier yapılandırma seçeneğine gidin.

C++'ta çıkarım çalıştır

// Initialization
AudioClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<AudioClassifier> audio_classifier = AudioClassifier::CreateFromOptions(options).value();

// Create input audio buffer from your `audio_data` and `audio_format`.
// See more information here: tensorflow_lite_support/cc/task/audio/core/audio_buffer.h
int input_size = audio_classifier->GetRequiredInputBufferSize();
const std::unique_ptr<AudioBuffer> audio_buffer =
    AudioBuffer::Create(audio_data, input_size, audio_format).value();

// Run inference
const ClassificationResult result = audio_classifier->Classify(*audio_buffer).value();

Bkz. kaynak kod daha fazla AudioClassifier yapılandırma seçeneğine gidin.

Model uyumluluğu şartları

AudioClassifier API, kullanımı zorunlu olan bir TFLite modeli bekler TFLite Model Meta Verileri. Şu örneklere bakın: Ses sınıflandırıcıları için meta veri oluşturmak üzere TensorFlow Lite Metadata Writer API.

Uyumlu ses sınıflandırıcı modelleri aşağıdaki gereksinimleri karşılamalıdır:

Giriş ses tensörü (kTfLitefloat32)
- [batch x samples] boyutunda ses klibi.
- toplu çıkarım desteklenmiyor (batch değerinin 1 olması gerekir).
- (çok kanallı modeller için) kanalların deneyimi olması gerekir.
Çıkış puanı tensörü (kTfLitefloat32)
- N içeren [1 x N] dizisi, sınıf numarasını temsil eder.
- isteğe bağlı (ancak önerilen) etiket eşlemelerini AssociatedFile-s olarak ve türle Her satırda bir etiket bulunan TENSOR_AXIS_LABELS. Bu tür ilk AssociatedFile (varsa), label alanını doldurmak için kullanılır ( class_name ) eklemek için kullanılır. display_name alanı dolduruldu yerel ayarı AudioClassifierOptions öğesinin display_names_locale alanı kullanılan oluşturma zamanı ("en" varsayılan olarak kullanılır, ör. İngilizce). Bunların hiçbiri sonuçların yalnızca index alanı doldurulacaktır.