دليل تصنيف الصوت لنظام التشغيل Android

تتيح لك مهمة مصنِّف الصوت MediaPipe تصنيف البيانات الصوتية. يمكنك استخدِم هذه المهمة لتحديد الأحداث الصوتية من مجموعة من الفئات المدرَّبة. هذه كيفية استخدام "مصنِّف الصوت" مع تطبيقات Android

مزيد من المعلومات حول الإمكانات والنماذج وخيارات الضبط هذه المهمة، راجع نظرة عامة.

مثال على الرمز البرمجي

رمز مثال "مهام MediaPipe" هو تنفيذ بسيط لمصنف صوتي. تطبيق Android. يستخدم المثال الميكروفون الموجود على جهاز Android فعلي تصنيف الأصوات باستمرار، وتشغيل المصنِّف على الملفات الصوتية المخزنة على الجهاز.

يمكنك استخدام التطبيق كنقطة بداية لتطبيق Android الخاص بك، أو الرجوع إليه عند تعديل تطبيق حالي. تتم استضافة مثال الرمز "مصنِّف الصوت" على GitHub.

تنزيل الرمز

توضّح لك التعليمات التالية كيفية إنشاء نسخة على الجهاز من هذا المثال. باستخدام أداة سطر الأوامر git.

لتنزيل نموذج الرمز:

1. استنساخ مستودع git باستخدام الأمر التالي:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. يمكنك اختياريًا ضبط مثيل git لاستخدام عملية الدفع المتناثر لذلك لا تتوفر لديك سوى ملفات تطبيق "مصنِّف الصوت" النموذجي:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

بعد إنشاء نسخة محلية من نموذج الرمز، يمكنك استيراد المشروع. إلى استوديو Android وتشغيل التطبيق. للحصول على التعليمات، يُرجى الاطّلاع على دليل إعداد Android

المكوّنات الرئيسية

تشتمل الملفات التالية على الرمز المهم لهذا الصوت. مثال على تطبيق التصنيف:

• AudioClassifierHelper.kt - يقوم بتهيئة مصنف الصوت والتعامل مع النموذج والتفويض التحديد.
• RecorderFragment.kt - تنشئ واجهة المستخدم وتتحكّم في رمز التسجيل الصوتي المباشر.
• LibraryFragment.kt - تُنشئ واجهة المستخدم وتتحكّم في رمز اختيار الملفات الصوتية.
• ProbabilitiesAdapter.kt - تتعامل مع نتائج تنبؤ المصنِّف وتنسقها.

ضبط إعدادات الجهاز

يصف هذا القسم الخطوات الرئيسية لإعداد بيئة التطوير لترميز البيانات خصيصًا لاستخدام "مصنِّف الصوت". للحصول على معلومات عامة عن إعداد بيئة التطوير الخاصة بك لاستخدام مهام MediaPipe، بما في ذلك متطلبات إصدار نظام التشغيل، راجع دليل إعداد Android

التبعيات

يستخدم "مصنِّف الصوت" مكتبة "com.google.mediapipe:tasks-audio". إضافة هذا التبعية إلى ملف build.gradle الخاص مشروع تطوير تطبيق Android. قم باستيراد التبعيات المطلوبة باستخدام التعليمة البرمجية التالية:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

الطراز

تتطلّب مهمة "مصنِّف الصوت MediaPipe" نموذجًا مدرّبًا متوافقًا مع هذه المهمة. لمزيد من المعلومات حول النماذج المدرَّبة المتاحة لـ "مصنِّف الصوت"، يُرجى الاطّلاع على نظرة عامة على المهمة قسم النماذج.

حدد النموذج ونزّله ثم خزّنه في دليل المشروع:

<dev-project-root>/src/main/assets

استخدام الطريقة BaseOptions.Builder.setModelAssetPath() لتحديد المسار الذي يستخدمه النموذج. يُشار إلى هذه الطريقة في مثال التعليمة البرمجية في المثال التالي .

في جلسة المعمل، مثال على رمز أداة تصنيف الصوت، يتم تحديد النموذج في AudioClassifierHelper.kt الملف.

إنشاء المهمة

يمكنك استخدام الدالة createFromOptions لإنشاء المهمة. تشير رسالة الأشكال البيانية تقبل الدالة createFromOptions خيارات الإعداد، بما في ذلك خيارات التشغيل الوضع، لغة الأسماء المعروضة، الحد الأقصى لعدد النتائج، الحد الأدنى للثقة، بالإضافة إلى قائمة السماح بالفئة أو قائمة الحظر. لمزيد من المعلومات عن الإعدادات اطلع على نظرة عامة على التهيئة.

تتيح مَهمّة "مصنِّف الصوت" أنواع بيانات الإدخال التالية: المقاطع الصوتية وعمليات البث الصوتي يجب تحديد وضع التشغيل المتوافق نوع بيانات الإدخال عند إنشاء مهمة. اختر علامة التبويب المقابلة نوع بيانات الإدخال لمعرفة كيفية إنشاء المهمة وتنفيذ الاستنتاج.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

يتيح تنفيذ رمز نموذج "مصنِّف الصوت" للمستخدم التبديل بين أوضاع المعالجة. تجعل هذه الطريقة رمز إنشاء المهمة أكثر تعقيدًا قد لا تكون مناسبة لحالة الاستخدام لديك. يمكنك رؤية رمز تبديل الوضع في الدالة initClassifier() AudioClassifierHelper

خيارات الإعداد

تتضمّن هذه المهمة خيارات الضبط التالية لتطبيقات Android:

تجهيز البيانات

يتوافق "مصنِّف الصوت" مع المقاطع الصوتية وعمليات البث الصوتي. المهمة المعالجة المسبقة لإدخال البيانات، بما في ذلك إعادة أخذ العينات والتخزين المؤقت والتأطير. ومع ذلك، يجب عليك تحويل إدخال البيانات الصوتية إلى هناك كائن com.google.mediapipe.tasks.components.containers.AudioData قبل تمريره إلى مهمة "مصنِّف الصوت".

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

تنفيذ المهمة

يمكنك استدعاء الدالة classify المقابلة لوضع الجري تؤدي إلى تشغيل الاستنتاجات. تعرض واجهة برمجة تطبيقات Audio Classifier API الفئات المحتملة الأحداث الصوتية التي يتم التعرف عليها ضمن البيانات الصوتية المدخلة.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

يُرجى ملاحظة ما يلي:

• عند التشغيل في وضع البث الصوتي، يجب أيضًا توفير السمة توفّر مهمة "مصنِّف الصوت" طابعًا زمنيًا لتتبُّع البيانات الصوتية في واستُخدم البث للاستنتاج.
• عند تشغيله في نموذج المقاطع الصوتية، ستحظر مهام "مصنِّف الصوت" سلسلة التعليمات الحالية إلى أن تنتهي من معالجة صوت الإدخال. لتجنّب حظر استجابات واجهة المستخدم، يجب تنفيذ المعالجة في سلسلة محادثات في الخلفية.

يمكنك الاطلاع على مثال عن تشغيل "مصنف صوتي" مع المقاطع الصوتية، راجع صف واحد (AudioClassifierHelper) في مثال على الرمز البرمجي.

التعامل مع العملاء وعرض النتائج

بعد تنفيذ استنتاج، تعرض مهمة "مصنِّف الصوت" قائمة بالخيارات فئات الأحداث الصوتية ضمن الإدخال الصوتي. بطاقة بيانات المتجر التالية مثالاً لبيانات الإخراج من هذه المهمة:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

في أحد تطبيقات Android، تعرض المهمة رمز الاستجابة ClassificationResult الذي يحتوي على قائمة تضم AudioClassifierResult عناصر، تمثل التوقعات بشأن الحدث الصوتي، بما في ذلك تصنيف الفئة ونتيجة الثقة

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

يمكنك الاطّلاع على مثال حول كيفية عرض التصنيف النتائج التي تم عرضها من هذه المهمة في الفئة ProbabilitiesAdapter من مثال على الرمز البرمجي.