دليل تصنيف الصوت لنظام التشغيل Android

تتيح لك مهمة MediaPipe Audio Classife تصنيف البيانات الصوتية. يمكنك استخدام هذه المهمة لتحديد الأحداث الصوتية من مجموعة من الفئات المدرَّبة. توضّح لك هذه التعليمات كيفية استخدام "أداة تصنيف الصوت" مع تطبيقات Android.

للحصول على مزيد من المعلومات حول الإمكانيات والنماذج وخيارات الإعداد لهذه المهمة، يُرجى الاطّلاع على نظرة عامة.

مثال الرمز البرمجي

إنّ الرمز البرمجي لمهام MediaPipe هو تنفيذ بسيط لتطبيق "مصنِّف الصوت" لنظام التشغيل Android. يستخدم المثال الميكروفون على جهاز Android فعلي لتصنيف الأصوات باستمرار، ويمكن أيضًا تشغيل المصنِّف على الملفات الصوتية المخزنة على الجهاز.

ويمكنك استخدام التطبيق كنقطة بداية لتطبيق Android الخاص بك، أو الرجوع إليه عند تعديل تطبيق حالي. تتم استضافة نموذج الرمز البرمجي "لأداة تصنيف الصوت" على GitHub.

تنزيل الرمز

توضّح لك التعليمات التالية كيفية إنشاء نسخة محلية من رمز المثال باستخدام أداة سطر الأوامر git.

لتنزيل نموذج الرمز:

1. استنسِخ مستودع git باستخدام الأمر التالي:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. يمكنك اختياريًا ضبط مثيل git لاستخدام طريقة الدفع المتفرقة، بحيث لا يكون لديك سوى ملفات التطبيق الذي يعرض مثالاً على "مصنِّف الصوت":

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

بعد إنشاء نسخة محلية من الرمز النموذجي، يمكنك استيراد المشروع إلى "استوديو Android" وتشغيل التطبيق. للحصول على التعليمات، يمكنك مراجعة دليل الإعداد لنظام التشغيل Android.

المكونات الرئيسية

تحتوي الملفات التالية على الرمز الأساسي لتطبيق التصنيف الصوتي هذا:

• AudioClassifierHelper.kt - يضبط مصنِّف الصوت على الإعدادات ويعالج النموذج ويحدّد التفويض.
• RecorderFragment.kt - لإنشاء واجهة المستخدم ورمز التحكّم للتسجيل الصوتي المباشر.
• LibraryFragment.kt - لإنشاء واجهة المستخدم ورمز التحكّم لاختيار الملفات الصوتية.
• ProbabilitiesAdapter.kt - الأسماء المعرِّفة وتنسيقات نتائج توقّع المصنِّف.

ضبط إعدادات الجهاز

يصف هذا القسم الخطوات الرئيسية لإعداد بيئة التطوير ومشاريع الرموز البرمجية لاستخدام "مصنِّف الصوت" تحديدًا. للحصول على معلومات عامة حول إعداد بيئة التطوير لاستخدام مهام MediaPipe، بما في ذلك متطلبات إصدار النظام الأساسي، يُرجى الاطّلاع على دليل الإعداد لنظام التشغيل Android.

التبعيات

يستخدم "مصنِّف الصوت" مكتبة com.google.mediapipe:tasks-audio. أضف هذه التبعية إلى ملف build.gradle لمشروع تطوير تطبيق Android لديك. قم باستيراد التبعيات المطلوبة باستخدام التعليمة البرمجية التالية:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

الطراز

تتطلب مهمة MediaPipe Audio Classife نموذجًا مدرَّبًا متوافقًا مع هذه المهمة. للحصول على مزيد من المعلومات حول النماذج المدربة المتاحة لأداة "تصنيف الصوت"، راجِع قسم النماذج الذي يقدّم نظرة عامة على المهمة.

حدد النموذج ونزّله ثم قم بتخزينه في دليل المشروع:

<dev-project-root>/src/main/assets

استخدِم طريقة BaseOptions.Builder.setModelAssetPath() لتحديد المسار الذي يستخدمه النموذج وتتم الإشارة إلى هذه الطريقة في مثال الرمز البرمجي في القسم التالي.

في مثال الرمز لأداة تصنيف الصوت، يتم تحديد النموذج في ملف AudioClassifierHelper.kt.

إنشاء المهمة

يمكنك استخدام الدالة createFromOptions لإنشاء المهمة. تقبل الدالة createFromOptions خيارات الضبط، بما في ذلك وضع التشغيل ولغة الأسماء المعروضة والحد الأقصى لعدد النتائج والحدّ الأدنى للثقة وقائمة الفئات المسموح بها أو قائمة الحظر. لمزيد من المعلومات حول خيارات الضبط، راجِع نظرة عامة على الإعدادات.

تتوافق مهمة "مصنف الصوت" مع أنواع بيانات الإدخال التالية: المقاطع الصوتية وعمليات البث الصوتي. تحتاج إلى تحديد وضع التشغيل المقابل لنوع بيانات الإدخال عند إنشاء مهمة. اختر علامة التبويب المقابلة لنوع بيانات الإدخال لمعرفة كيفية إنشاء المهمة وتشغيل الاستنتاج.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

يتيح مثال تنفيذ الرمز الخاص بـ "مصنِّف الصوت" للمستخدم التبديل بين أوضاع المعالجة. يجعل هذا النهج كود إنشاء المهمة أكثر تعقيدًا وقد لا يكون مناسبًا لحالة استخدامك. يمكنك الاطّلاع على رمز تبديل الوضع في الدالة initClassifier() في AudioClassifierHelper.

خيارات الضبط

تشمل هذه المهمة خيارات الضبط التالية لتطبيقات Android:

إعداد البيانات

يعمل "مصنِّف الصوت" مع المقاطع الصوتية وعمليات البث الصوتي. تعالج المهمة المعالجة المسبقة لإدخال البيانات، بما في ذلك إعادة أخذ العينات والتخزين المؤقت والتأطير. ومع ذلك، يجب تحويل البيانات الصوتية المُدخلة إلى كائن com.google.mediapipe.tasks.components.containers.AudioData قبل تمريرها إلى مهمة "مصنِّف الصوت".

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

تنفيذ المهمة

يمكنك استدعاء الدالة classify المقابلة لوضع التشغيل لديك من أجل الحصول على استنتاجات. تعرض واجهة برمجة التطبيقات Audio Classifier API الفئات المحتملة للأحداث الصوتية التي يتم التعرّف عليها ضمن البيانات الصوتية المُدخلة.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

يُرجى ملاحظة ما يلي:

• عند تشغيل المحتوى في وضع البث الصوتي، عليك أيضًا إضافة طابع زمني إلى مهمة "أداة تصنيف الصوت" لتتبّع البيانات الصوتية التي تم استخدامها للاستنتاج.
• عند تشغيل مهمة "تصنيف الصوت" في نموذج المقاطع الصوتية، تحظر سلسلة المحادثات الحالية إلى أن تنتهي من معالجة صوت الإدخال. ولتجنُّب حظر الردود على واجهة المستخدم، يمكنك تنفيذ المعالجة في سلسلة محادثات في الخلفية.

يمكنك الاطّلاع على مثال لتشغيل "أداة تصنيف الصوت" مع مقاطع صوتية، ويمكنك الاطّلاع على الفئة AudioClassifierHelper في مثال الرمز البرمجي.

التعامل مع النتائج وعرضها

بعد تنفيذ استنتاج، تعرض مهمة "مصنِّف الصوت" قائمة بالفئات المحتملة للأحداث الصوتية ضمن صوت الإدخال. توضح القائمة التالية مثالاً على بيانات الإخراج من هذه المهمة:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

في أحد تطبيقات Android، تعرض المهمة ClassificationResult تحتوي على قائمة من AudioClassifierResult عنصر، وتمثل التوقعات لحدث صوتي، بما في ذلك تصنيف الفئة ونتيجة الثقة.

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

يمكنك الاطّلاع على مثال حول طريقة عرض نتائج التصنيف التي تم إرجاعها من هذه المهمة في الفئة ProbabilitiesAdapter في مثال الرمز البرمجي.