Ses sınıflandırması, ses türlerini sınıflandırmak için makine öğreniminin yaygın bir kullanım alanıdır. Örneğin, kuş türlerini şarkılarına göre tanımlayabilir.
Task Library AudioClassifier API, özel ses sınıflandırıcılarınızı veya önceden eğitilmiş olanları mobil uygulamanıza dağıtmak için kullanılabilir.
AudioClassifier API'nin temel özellikleri
Giriş ses işleme (ör. PCM 16 bit kodlamayı PCM Float kodlamaya dönüştürme ve ses halka arabelleğini değiştirme)
Etiket haritası yerel ayarı.
Çok başlı sınıflandırma modelini destekleme.
Hem tek etiketli hem de çok etiketli sınıflandırmayı destekler.
Sonuçları filtrelemek için puan eşiği.
İlk k sınıflandırma sonucu.
Etiket izin verilenler ve red listesi.
Desteklenen ses sınıflandırıcı modelleri
Aşağıdaki modellerin AudioClassifier
API ile uyumlu olduğu garanti edilir.
TensorFlow Lite Model Maker for Audio Classification ile oluşturulan modeller.
TensorFlow Hub'daki önceden eğitilmiş ses etkinliği sınıflandırma modelleri.
Model uyumluluğu koşullarını karşılayan özel modeller.
Java'da çıkarım çalıştırma
Android uygulamasında AudioClassifier kullanılan bir örnek için Audio Classification referans uygulamasını inceleyin.
1. adım: Gradle bağımlılığını ve diğer ayarları içe aktarın
.tflite model dosyasını, modelin çalıştırılacağı Android modülünün öğeler dizinine kopyalayın. Dosyanın sıkıştırılmaması gerektiğini belirtin ve TensorFlow Lite kitaplığını modülün build.gradle dosyasına ekleyin:
android {
// Other settings
// Specify that the tflite file should not be compressed when building the APK package.
aaptOptions {
noCompress "tflite"
}
}
dependencies {
// Other dependencies
// Import the Audio Task Library dependency
implementation 'org.tensorflow:tensorflow-lite-task-audio:0.4.4'
// Import the GPU delegate plugin Library for GPU inference
implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}
2. adım: Modeli kullanma
// Initialization
AudioClassifierOptions options =
AudioClassifierOptions.builder()
.setBaseOptions(BaseOptions.builder().useGpu().build())
.setMaxResults(1)
.build();
AudioClassifier classifier =
AudioClassifier.createFromFileAndOptions(context, modelFile, options);
// Start recording
AudioRecord record = classifier.createAudioRecord();
record.startRecording();
// Load latest audio samples
TensorAudio audioTensor = classifier.createInputTensorAudio();
audioTensor.load(record);
// Run inference
List<Classifications> results = audioClassifier.classify(audioTensor);
AudioClassifier yapılandırmayla ilgili daha fazla seçenek için kaynak kodu ve javadoc'a bakın.
iOS'te çıkarım çalıştırma
1. adım: Bağımlılıkları yükleyin
Görev Kitaplığı, CocoaPods kullanılarak yüklenmeyi destekler. Sisteminizde CocoaPods'un yüklü olduğundan emin olun. Talimatlar için lütfen CocoaPods yükleme kılavuzuna bakın.
Pod'ları Xcode projesine ekleme hakkında ayrıntılı bilgi için lütfen CocoaPods rehberine bakın.
Podfile'a TensorFlowLiteTaskAudio kapsülünü ekleyin.
target 'MyAppWithTaskAPI' do
use_frameworks!
pod 'TensorFlowLiteTaskAudio'
end
Çıkarım için kullanacağınız .tflite modelin uygulama paketinizde bulunduğundan emin olun.
2. adım: Modeli kullanma
Swift
// Imports
import TensorFlowLiteTaskAudio
import AVFoundation
// Initialization
guard let modelPath = Bundle.main.path(forResource: "sound_classification",
ofType: "tflite") else { return }
let options = AudioClassifierOptions(modelPath: modelPath)
// Configure any additional options:
// options.classificationOptions.maxResults = 3
let classifier = try AudioClassifier.classifier(options: options)
// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
let audioTensor = classifier.createInputAudioTensor()
// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
let audioRecord = try classifier.createAudioRecord()
// Request record permissions from AVAudioSession before invoking audioRecord.startRecording().
AVAudioSession.sharedInstance().requestRecordPermission { granted in
if granted {
DispatchQueue.main.async {
// Start recording the incoming audio samples from the on-device microphone.
try audioRecord.startRecording()
// Load the samples currently held by the audio record buffer into the audio tensor.
try audioTensor.load(audioRecord: audioRecord)
// Run inference
let classificationResult = try classifier.classify(audioTensor: audioTensor)
}
}
}
Objective-C
// Imports
#import <TensorFlowLiteTaskAudio/TensorFlowLiteTaskAudio.h>
#import <AVFoundation/AVFoundation.h>
// Initialization
NSString *modelPath = [[NSBundle mainBundle] pathForResource:@"sound_classification" ofType:@"tflite"];
TFLAudioClassifierOptions *options =
[[TFLAudioClassifierOptions alloc] initWithModelPath:modelPath];
// Configure any additional options:
// options.classificationOptions.maxResults = 3;
TFLAudioClassifier *classifier = [TFLAudioClassifier audioClassifierWithOptions:options
error:nil];
// Create Audio Tensor to hold the input audio samples which are to be classified.
// Created Audio Tensor has audio format matching the requirements of the audio classifier.
// For more details, please see:
// https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_tensor/sources/TFLAudioTensor.h
TFLAudioTensor *audioTensor = [classifier createInputAudioTensor];
// Create Audio Record to record the incoming audio samples from the on-device microphone.
// Created Audio Record has audio format matching the requirements of the audio classifier.
// For more details, please see:
https://github.com/tensorflow/tflite-support/blob/master/tensorflow_lite_support/ios/task/audio/core/audio_record/sources/TFLAudioRecord.h
TFLAudioRecord *audioRecord = [classifier createAudioRecordWithError:nil];
// Request record permissions from AVAudioSession before invoking -[TFLAudioRecord startRecordingWithError:].
[[AVAudioSession sharedInstance] requestRecordPermission:^(BOOL granted) {
if (granted) {
dispatch_async(dispatch_get_main_queue(), ^{
// Start recording the incoming audio samples from the on-device microphone.
[audioRecord startRecordingWithError:nil];
// Load the samples currently held by the audio record buffer into the audio tensor.
[audioTensor loadAudioRecord:audioRecord withError:nil];
// Run inference
TFLClassificationResult *classificationResult =
[classifier classifyWithAudioTensor:audioTensor error:nil];
});
}
}];
TFLAudioClassifier yapılandırmayla ilgili diğer seçenekler için kaynak koduna bakın.
Python'da çıkarım çalıştırma
1. adım: pip paketini yükleyin
pip install tflite-support
- Linux:
sudo apt-get update && apt-get install libportaudio2komutunu çalıştırın. - Mac ve Windows: PortAudio,
tflite-supportpip paketi yüklenirken otomatik olarak yüklenir.
2. adım: Modeli kullanma
# Imports
from tflite_support.task import audio
from tflite_support.task import core
from tflite_support.task import processor
# Initialization
base_options = core.BaseOptions(file_name=model_path)
classification_options = processor.ClassificationOptions(max_results=2)
options = audio.AudioClassifierOptions(base_options=base_options, classification_options=classification_options)
classifier = audio.AudioClassifier.create_from_options(options)
# Alternatively, you can create an audio classifier in the following manner:
# classifier = audio.AudioClassifier.create_from_file(model_path)
# Run inference
audio_file = audio.TensorAudio.create_from_wav_file(audio_path, classifier.required_input_buffer_size)
audio_result = classifier.classify(audio_file)
AudioClassifier yapılandırmayla ilgili diğer seçenekler için kaynak koduna bakın.
C++'ta çıkarım çalıştırma
// Initialization
AudioClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<AudioClassifier> audio_classifier = AudioClassifier::CreateFromOptions(options).value();
// Create input audio buffer from your `audio_data` and `audio_format`.
// See more information here: tensorflow_lite_support/cc/task/audio/core/audio_buffer.h
int input_size = audio_classifier->GetRequiredInputBufferSize();
const std::unique_ptr<AudioBuffer> audio_buffer =
AudioBuffer::Create(audio_data, input_size, audio_format).value();
// Run inference
const ClassificationResult result = audio_classifier->Classify(*audio_buffer).value();
AudioClassifier yapılandırmayla ilgili diğer seçenekler için kaynak koduna bakın.
Model uyumluluğu koşulları
AudioClassifier API, zorunlu TFLite Model Metadata içeren bir TFLite modeli bekler. TensorFlow Lite Metadata Writer API'yi kullanarak ses sınıflandırıcılar için meta veri oluşturma örneklerine bakın.
Uyumlu ses sınıflandırıcı modelleri aşağıdaki koşulları karşılamalıdır:
Giriş ses tensörü (kTfLiteFloat32)
[batch x samples]boyutunda ses klibi.- Toplu çıkarım desteklenmez (
batch1 olmalıdır). - Çok kanallı modellerde kanallar iç içe olmalıdır.
Çıkış puanı tensörü (kTfLiteFloat32)
[1 x N]dizisiyleN, sınıf numarasını gösterir.- İsteğe bağlı (ancak önerilir) etiket haritaları, AssociatedFile-s olarak TENSOR_AXIS_LABELS türünde olmalıdır. Her satırda bir etiket bulunur. Bu türden ilk AssociatedFile (varsa) sonuçların
labelalanını (C++'daclass_nameolarak adlandırılır) doldurmak için kullanılır.display_namealanı, oluşturma sırasında kullanılanAudioClassifierOptionsöğesinindisplay_names_localealanıyla yerel ayarı eşleşen AssociatedFile'dan (varsa) doldurulur ("en" varsayılandır, yani İngilizce). Bunlardan hiçbiri yoksa sonuçların yalnızcaindexalanı doldurulur.