MediaPipe অডিও ক্লাসিফায়ার টাস্ক আপনাকে অডিও ডেটাতে শ্রেণীবিভাগ করতে দেয়। আপনি প্রশিক্ষিত বিভাগের একটি সেট থেকে শব্দ ইভেন্ট সনাক্ত করতে এই কাজটি ব্যবহার করতে পারেন। এই নির্দেশাবলী আপনাকে দেখায় কিভাবে Android অ্যাপের সাথে অডিও ক্লাসিফায়ার ব্যবহার করতে হয়।
এই কাজের ক্ষমতা, মডেল এবং কনফিগারেশন বিকল্প সম্পর্কে আরও তথ্যের জন্য, ওভারভিউ দেখুন।
কোড উদাহরণ
MediaPipe টাস্কের উদাহরণ কোড হল Android এর জন্য একটি অডিও ক্লাসিফায়ার অ্যাপের একটি সহজ বাস্তবায়ন। উদাহরণটি একটি ফিজিক্যাল অ্যান্ড্রয়েড ডিভাইসে মাইক্রোফোন ব্যবহার করে শব্দগুলিকে ক্রমাগত শ্রেণীবদ্ধ করতে এবং ডিভাইসে সঞ্চিত সাউন্ড ফাইলগুলিতেও শ্রেণীবদ্ধকারী চালাতে পারে।
আপনি অ্যাপটিকে আপনার নিজের অ্যান্ড্রয়েড অ্যাপের জন্য একটি সূচনা পয়েন্ট হিসাবে ব্যবহার করতে পারেন, বা একটি বিদ্যমান অ্যাপ পরিবর্তন করার সময় এটি উল্লেখ করতে পারেন। অডিও ক্লাসিফায়ার উদাহরণ কোড GitHub এ হোস্ট করা হয়।
কোডটি ডাউনলোড করুন
নিম্নলিখিত নির্দেশাবলী আপনাকে দেখায় কিভাবে গিট কমান্ড লাইন টুল ব্যবহার করে উদাহরণ কোডের একটি স্থানীয় অনুলিপি তৈরি করতে হয়।
উদাহরণ কোড ডাউনলোড করতে:
- নিম্নলিখিত কমান্ড ব্যবহার করে গিট সংগ্রহস্থল ক্লোন করুন:
git clone https://github.com/google-ai-edge/mediapipe-samples
- ঐচ্ছিকভাবে, স্পার্স চেকআউট ব্যবহার করার জন্য আপনার গিট ইনস্ট্যান্স কনফিগার করুন, যাতে আপনার কাছে অডিও ক্লাসিফায়ার উদাহরণ অ্যাপের জন্য শুধুমাত্র ফাইল থাকে:
cd mediapipe git sparse-checkout init --cone git sparse-checkout set examples/audio_classifier/android
উদাহরণ কোডের একটি স্থানীয় সংস্করণ তৈরি করার পরে, আপনি প্রকল্পটি অ্যান্ড্রয়েড স্টুডিওতে আমদানি করতে এবং অ্যাপটি চালাতে পারেন। নির্দেশাবলীর জন্য, Android এর জন্য সেটআপ গাইড দেখুন।
মূল উপাদান
নিম্নলিখিত ফাইলগুলিতে এই অডিও শ্রেণিবিন্যাস উদাহরণ অ্যাপ্লিকেশনের জন্য গুরুত্বপূর্ণ কোড রয়েছে:
- AudioClassifierHelper.kt - অডিও ক্লাসিফায়ার শুরু করে এবং মডেল এবং প্রতিনিধি নির্বাচন পরিচালনা করে।
- RecorderFragment.kt - লাইভ অডিও রেকর্ডিংয়ের জন্য ব্যবহারকারী ইন্টারফেস এবং নিয়ন্ত্রণ কোড তৈরি করে।
- LibraryFragment.kt - অডিও ফাইল নির্বাচন করার জন্য ব্যবহারকারী ইন্টারফেস এবং নিয়ন্ত্রণ কোড তৈরি করে।
- ProbabilitiesAdapter.kt - ক্লাসিফায়ারের ভবিষ্যদ্বাণী ফলাফলগুলি পরিচালনা করে এবং ফর্ম্যাট করে।
সেটআপ
এই বিভাগে আপনার ডেভেলপমেন্ট এনভায়রনমেন্ট এবং কোড প্রোজেক্ট সেট আপ করার জন্য বিশেষভাবে অডিও ক্লাসিফায়ার ব্যবহার করার জন্য মূল ধাপগুলি বর্ণনা করে। প্ল্যাটফর্ম সংস্করণ প্রয়োজনীয়তা সহ MediaPipe কার্যগুলি ব্যবহার করার জন্য আপনার বিকাশের পরিবেশ সেট আপ করার বিষয়ে সাধারণ তথ্যের জন্য, Android এর জন্য সেটআপ নির্দেশিকা দেখুন৷
নির্ভরতা
অডিও ক্লাসিফায়ার com.google.mediapipe:tasks-audio লাইব্রেরি ব্যবহার করে। আপনার Android অ্যাপ ডেভেলপমেন্ট প্রজেক্টের build.gradle ফাইলে এই নির্ভরতা যোগ করুন। নিম্নলিখিত কোড সহ প্রয়োজনীয় নির্ভরতা আমদানি করুন:
dependencies {
...
implementation 'com.google.mediapipe:tasks-audio:latest.release'
}
মডেল
MediaPipe অডিও ক্লাসিফায়ার টাস্কের জন্য একটি প্রশিক্ষিত মডেল প্রয়োজন যা এই কাজের সাথে সামঞ্জস্যপূর্ণ। অডিও ক্লাসিফায়ারের জন্য উপলব্ধ প্রশিক্ষিত মডেল সম্পর্কে আরও তথ্যের জন্য, টাস্ক ওভারভিউ মডেল বিভাগটি দেখুন।
মডেল নির্বাচন করুন এবং ডাউনলোড করুন, এবং তারপর আপনার প্রকল্প ডিরেক্টরির মধ্যে এটি সংরক্ষণ করুন:
<dev-project-root>/src/main/assets
মডেল দ্বারা ব্যবহৃত পথ নির্দিষ্ট করতে BaseOptions.Builder.setModelAssetPath() পদ্ধতি ব্যবহার করুন। এই পদ্ধতিটি পরবর্তী বিভাগে কোড উদাহরণে উল্লেখ করা হয়েছে।
অডিও ক্লাসিফায়ার উদাহরণ কোডে , মডেলটি AudioClassifierHelper.kt ফাইলে সংজ্ঞায়িত করা হয়েছে।
টাস্ক তৈরি করুন
আপনি টাস্ক তৈরি করতে createFromOptions ফাংশন ব্যবহার করতে পারেন। createFromOptions ফাংশন রানিং মোড, ডিসপ্লে নেম লোকেল, ফলাফলের সর্বোচ্চ সংখ্যা, আস্থা থ্রেশহোল্ড এবং একটি ক্যাটাগরির অনুমতি তালিকা বা তালিকা অস্বীকার সহ কনফিগারেশন বিকল্পগুলি গ্রহণ করে। কনফিগারেশন বিকল্প সম্পর্কে আরও তথ্যের জন্য, কনফিগারেশন ওভারভিউ দেখুন।
অডিও ক্লাসিফায়ার টাস্ক নিম্নলিখিত ইনপুট ডেটা প্রকারগুলিকে সমর্থন করে: অডিও ক্লিপ এবং অডিও স্ট্রীম৷ একটি টাস্ক তৈরি করার সময় আপনাকে আপনার ইনপুট ডেটা টাইপের সাথে সম্পর্কিত চলমান মোড নির্দিষ্ট করতে হবে। কীভাবে টাস্ক তৈরি করতে হয় এবং অনুমান চালাতে হয় তা দেখতে আপনার ইনপুট ডেটা টাইপের সাথে সম্পর্কিত ট্যাবটি বেছে নিন।
অডিও ক্লিপ
AudioClassifierOptions options =
AudioClassifierOptions.builder()
.setBaseOptions(
BaseOptions.builder().setModelAssetPath("model.tflite").build())
.setRunningMode(RunningMode.AUDIO_CLIPS)
.setMaxResults(5)
.build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
অডিও স্ট্রিম
AudioClassifierOptions options = AudioClassifierOptions.builder() .setBaseOptions( BaseOptions.builder().setModelAssetPath("model.tflite").build()) .setRunningMode(RunningMode.AUDIO_STREAM) .setMaxResults(5) .setResultListener(audioClassifierResult -> { // Process the classification result here. }) .build(); audioClassifier = AudioClassifier.createFromOptions(context, options);
অডিও ক্লাসিফায়ার উদাহরণ কোড বাস্তবায়ন ব্যবহারকারীকে প্রক্রিয়াকরণ মোডগুলির মধ্যে স্যুইচ করতে দেয়। পদ্ধতিটি টাস্ক তৈরির কোডটিকে আরও জটিল করে তোলে এবং আপনার ব্যবহারের ক্ষেত্রে উপযুক্ত নাও হতে পারে। আপনি AudioClassifierHelper এর initClassifier() ফাংশনে মোড স্যুইচিং কোড দেখতে পারেন।
কনফিগারেশন বিকল্প
এই টাস্কে Android অ্যাপের জন্য নিম্নলিখিত কনফিগারেশন বিকল্প রয়েছে:
| বিকল্পের নাম | বর্ণনা | মান পরিসীমা | ডিফল্ট মান |
|---|---|---|---|
runningMode | টাস্কের জন্য চলমান মোড সেট করে। অডিও ক্লাসিফায়ার দুটি মোড আছে: AUDIO_CLIPS: স্বাধীন অডিও ক্লিপগুলিতে অডিও টাস্ক চালানোর জন্য মোড। AUDIO_STREAM: একটি অডিও স্ট্রীমে অডিও টাস্ক চালানোর মোড, যেমন মাইক্রোফোন থেকে। এই মোডে, রেজাল্টলিসনারকে অবশ্যই অ্যাসিঙ্ক্রোনাসভাবে শ্রেণীবিভাগের ফলাফল পাওয়ার জন্য একজন শ্রোতা সেট আপ করতে কল করতে হবে। | { AUDIO_CLIPS, AUDIO_STREAM } | AUDIO_CLIPS |
displayNamesLocale | টাস্কের মডেলের মেটাডেটাতে প্রদত্ত প্রদর্শন নামের জন্য ব্যবহার করার জন্য লেবেলের ভাষা সেট করে, যদি উপলব্ধ থাকে। ইংরেজির জন্য ডিফল্ট হল en । আপনি TensorFlow Lite Metadata Writer API ব্যবহার করে একটি কাস্টম মডেলের মেটাডেটাতে স্থানীয় লেবেল যোগ করতে পারেন | স্থানীয় কোড | en |
maxResults | ফিরতে সর্বোচ্চ স্কোর করা শ্রেণীবিভাগ ফলাফলের ঐচ্ছিক সর্বোচ্চ সংখ্যা সেট করে। <0 হলে, সমস্ত উপলব্ধ ফলাফল ফেরত দেওয়া হবে। | যেকোনো ইতিবাচক সংখ্যা | -1 |
scoreThreshold | ভবিষ্যদ্বাণী স্কোর থ্রেশহোল্ড সেট করে যা মডেল মেটাডেটাতে প্রদত্ত একটিকে ওভাররাইড করে (যদি থাকে)। এই মানের নিচের ফলাফল প্রত্যাখ্যান করা হয়। | [০.০, ১.০] | সেট করা হয়নি |
categoryAllowlist | অনুমোদিত বিভাগের নামের ঐচ্ছিক তালিকা সেট করে। যদি খালি না থাকে, শ্রেণীবিভাগের ফলাফল যাদের বিভাগের নাম এই সেটে নেই সেগুলি ফিল্টার আউট করা হবে৷ সদৃশ বা অজানা বিভাগের নাম উপেক্ষা করা হয়। এই বিকল্পটি categoryDenylist সাথে পারস্পরিকভাবে একচেটিয়া এবং একটি ত্রুটিতে উভয় ফলাফল ব্যবহার করে। | কোনো স্ট্রিং | সেট করা হয়নি |
categoryDenylist | অনুমোদিত নয় এমন বিভাগের নামের ঐচ্ছিক তালিকা সেট করে। যদি খালি না থাকে, শ্রেণীবিভাগের ফলাফল যার বিভাগের নাম এই সেটে আছে তা ফিল্টার আউট করা হবে। সদৃশ বা অজানা বিভাগের নাম উপেক্ষা করা হয়। এই বিকল্পটি categoryAllowlist সাথে পারস্পরিকভাবে একচেটিয়া এবং একটি ত্রুটিতে উভয় ফলাফল ব্যবহার করে। | কোনো স্ট্রিং | সেট করা হয়নি |
resultListener | অডিও ক্লাসিফায়ার যখন অডিও স্ট্রিম মোডে থাকে তখন অসিঙ্ক্রোনাসভাবে শ্রেণিবিন্যাসের ফলাফল পেতে ফলাফল শ্রোতাকে সেট করে। চলমান মোডটি AUDIO_STREAM এ সেট করা থাকলেই কেবল ব্যবহার করা যেতে পারে৷ | N/A | সেট করা হয়নি |
errorListener | একটি ঐচ্ছিক ত্রুটি শ্রোতা সেট করে। | N/A | সেট করা হয়নি |
ডেটা প্রস্তুত করুন
অডিও ক্লাসিফায়ার অডিও ক্লিপ এবং অডিও স্ট্রিমগুলির সাথে কাজ করে। টাস্কটি রিস্যাম্পলিং, বাফারিং এবং ফ্রেমিং সহ ডেটা ইনপুট প্রিপ্রসেসিং পরিচালনা করে। যাইহোক, অডিও ক্লাসিফায়ার টাস্কে পাস করার আগে আপনাকে অবশ্যই একটি com.google.mediapipe.tasks.components.containers.AudioData অবজেক্টে ইনপুট অডিও ডেটা রূপান্তর করতে হবে৷
অডিও ক্লিপ
import com.google.mediapipe.tasks.components.containers.AudioData; // Load an audio on the user’s device as a float array. // Convert a float array to a MediaPipe’s AudioData object. AudioData audioData = AudioData.create( AudioData.AudioDataFormat.builder() .setNumOfChannels(numOfChannels) .setSampleRate(sampleRate) .build(), floatData.length); audioData.load(floatData);
অডিও স্ট্রিম
import android.media.AudioRecord; import com.google.mediapipe.tasks.components.containers.AudioData; AudioRecord audioRecord = audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000); audioRecord.startRecording(); ... // To get a one second clip from the AudioRecord object: AudioData audioData = AudioData.create( 16000 /*sample counts per second*/); AudioData.AudioDataFormat.create(audioRecord.getFormat()), audioData.load(audioRecord)
টাস্ক চালান
অনুমানগুলি ট্রিগার করতে আপনি আপনার চলমান মোডের সাথে সম্পর্কিত classify ফাংশনটিকে কল করতে পারেন। অডিও ক্লাসিফায়ার API ইনপুট অডিও ডেটার মধ্যে স্বীকৃত অডিও ইভেন্টগুলির জন্য সম্ভাব্য বিভাগগুলি প্রদান করে।
অডিও ক্লিপ
AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
অডিও স্ট্রিম
// Run inference on the audio block. The classifications results will be available // via the `resultListener` provided in the `AudioClassifierOptions` when // the audio classifier was created. audioClassifier.classifyAsync(audioBlock, timestampMs);
নিম্নলিখিত নোট করুন:
- অডিও স্ট্রীম মোডে চলাকালীন, অনুমানের জন্য স্ট্রীমের মধ্যে কোন অডিও ডেটা ব্যবহার করা হয়েছে তা ট্র্যাক করার জন্য আপনাকে একটি টাইমস্ট্যাম্প সহ অডিও ক্লাসিফায়ার টাস্ক প্রদান করতে হবে।
- অডিও ক্লিপস মডেলে চলাকালীন, অডিও ক্লাসিফায়ার টাস্ক বর্তমান থ্রেডটিকে অবরুদ্ধ করে যতক্ষণ না এটি ইনপুট অডিও প্রক্রিয়াকরণ শেষ করে। ব্যবহারকারীর ইন্টারফেস প্রতিক্রিয়া ব্লক করা এড়াতে, একটি পটভূমি থ্রেডে প্রক্রিয়াকরণ চালান।
আপনি অডিও ক্লিপগুলির সাথে অডিও ক্লাসিফায়ার চালানোর একটি উদাহরণ দেখতে পারেন, কোড উদাহরণে AudioClassifierHelper ক্লাসটি দেখুন।
হ্যান্ডেল এবং প্রদর্শন ফলাফল
একটি অনুমান চালানোর পরে, অডিও ক্লাসিফায়ার টাস্ক ইনপুট অডিওর মধ্যে অডিও ইভেন্টগুলির জন্য সম্ভাব্য বিভাগগুলির একটি তালিকা প্রদান করে। নিম্নলিখিত তালিকাটি এই টাস্ক থেকে আউটপুট ডেটার একটি উদাহরণ দেখায়:
AudioClassifierResult:
Timestamp in microseconds: 100
ClassificationResult #0:
Timestamp in microseconds: 100
Classifications #0 (single classification head):
head index: 0
category #0:
category name: "Speech"
score: 0.6
index: 0
category #1:
category name: "Music"
score: 0.2
index: 1
একটি অ্যান্ড্রয়েড অ্যাপে, টাস্কটি একটি ClassificationResult ফলাফল প্রদান করে যাতে AudioClassifierResult অবজেক্টের একটি তালিকা থাকে, যেটি ক্যাটাগরি লেবেল এবং কনফিডেন্স স্কোর সহ একটি অডিও ইভেন্টের ভবিষ্যদ্বাণী উপস্থাপন করে।
অডিও ক্লিপ
// In the audio clips mode, the classification results are for the entire audio // clip. The results are timestamped AudioClassifierResult objects, each // classifying an interval of the entire audio clip that starts at // ClassificationResult.timestampMs().get(). for (ClassificationResult result : audioClassifierResult.classificationResults()) { // Audio interval start timestamp: result.timestampMs().get(); // Classification result of the audio interval. result.classifications(); }
অডিও স্ট্রিম
// In the audio stream mode, the classification results list only contains one // element, representing the classification result of the audio block that // starts at ClassificationResult.timestampMs in the audio stream. ClassificationResult result = audioClassifierResult.classificationResults().get(0); // The audio block start timestamp audioClassifierResult.timestampMs(); // Alternatively, the same timestamp can be retrieved from // result.timestampMs().get(); // Classification result. result.classifications();
আপনি কোড উদাহরণের ProbabilitiesAdapter ক্লাসে এই টাস্ক থেকে প্রত্যাবর্তিত শ্রেণিবিন্যাসের ফলাফলগুলি কীভাবে প্রদর্শন করবেন তার একটি উদাহরণ দেখতে পারেন।