מדריך סיווג אודיו ל-Android

המשימה 'מסווג אודיו של MediaPipe' מאפשרת לכם לבצע סיווג של נתוני אודיו. אפשר במשימה הזאת תוכלו לזהות אירועים של זיהוי צלילים מתוך קבוצה של קטגוריות שאומנו. האלה ההוראות לשימוש במסווג האודיו באפליקציות ל-Android.

מידע נוסף על היכולות, המודלים ואפשרויות ההגדרה במשימה הזאת, ראו סקירה כללית.

קוד לדוגמה

קוד הדוגמה למשימות MediaPipe הוא הטמעה פשוטה של מסווג אודיו לאפליקציה ל-Android. בדוגמה נעשה שימוש במיקרופון במכשיר Android פיזי לצורך לסווג צלילים בצורה רציפה, וגם להריץ את המסווג על קובצי קול מאוחסנים במכשיר.

אפשר להשתמש באפליקציה כנקודת התחלה של אפליקציה משלכם ל-Android, או להתייחס אליה כשמשנים אפליקציה קיימת. הקוד לדוגמה של מסווג האודיו מתארח ב- GitHub.

להורדת הקוד

בהוראות הבאות מוסבר איך ליצור עותק מקומי של הדוגמה באמצעות כלי שורת הפקודה git.

כדי להוריד את הקוד לדוגמה:

1. משכפלים את מאגר ה-Git באמצעות הפקודה הבאה:

   git clone https://github.com/google-ai-edge/mediapipe-samples
   

2. אפשר גם להגדיר את ה-Git למכונת ה-Git לשימוש בקופה מועטה, יהיו לכם רק את הקבצים של האפליקציה לדוגמה של מסווג האודיו:

   cd mediapipe
   git sparse-checkout init --cone
   git sparse-checkout set examples/audio_classifier/android
   

אחרי שיוצרים גרסה מקומית של הקוד לדוגמה, אפשר לייבא את הפרויקט אל Android Studio ולהריץ את האפליקציה. הוראות מופיעות מדריך ההגדרה ל-Android.

רכיבים מרכזיים

הקבצים הבאים מכילים את הקוד החיוני של האודיו הזה אפליקציה לדוגמה לסיווג:

• AudioClassifierHelper.kt – הפעלת מסווג האודיו וטיפול במודל ובהענקת גישה בחירה.
• RecorderFragment.kt – יצירת ממשק המשתמש וקוד הבקרה להקלטת אודיו בשידור חי.
• LibraryFragment.kt – יוצר את ממשק המשתמש וקוד הבקרה לבחירת קובצי אודיו.
• ProbabilitiesAdapter.kt – כינויים של תוצאות החיזוי של המסווג ומעצבים אותן.

הגדרה

בקטע הזה מתוארים השלבים העיקריים להגדרת סביבת הפיתוח פרויקטים של קוד שישמשו אותך באופן ספציפי לשימוש במסווג אודיו. למידע כללי על להגדיר את סביבת הפיתוח לשימוש במשימות של MediaPipe, כולל הדרישות לגרסת הפלטפורמה. מדריך ההגדרה ל-Android.

יחסי תלות

מסווג האודיו משתמש בספרייה com.google.mediapipe:tasks-audio. הוספת הפריט שתלויות בקובץ build.gradle של פרויקט של פיתוח אפליקציות ל-Android. לייבא את יחסי התלות הנדרשים באמצעות את הקוד הבא:

dependencies {
    ...
    implementation 'com.google.mediapipe:tasks-audio:latest.release'
}

דגם

למשימה של מסווג האודיו של MediaPipe נדרש מודל מאומן התואם למשימה הזו. מידע נוסף על מודלים זמינים מאומנים של מסווג אודיו זמין בכתובת בסקירה הכללית על המשימה בקטע 'מודלים'.

בוחרים את המודל, מורידים אותו ושומרים אותו בספריית הפרויקט:

<dev-project-root>/src/main/assets

משתמשים בשיטה BaseOptions.Builder.setModelAssetPath() כדי לציין את הנתיב שבו משתמש המודל. השיטה הזו תופיע בדוגמה של הקוד .

ב קוד לדוגמה של מסווג האודיו המודל מוגדר בAudioClassifierHelper.kt חדש.

יצירת המשימה

אפשר להשתמש בפונקציה createFromOptions כדי ליצור את המשימה. הפונקציה createFromOptions מקבלת אפשרויות הגדרה כולל הרצה מצב, שם תצוגה, לוקאל, מספר מקסימלי של תוצאות, סף מהימנות, ורשימת קטגוריות מותרות או רשימת פריטים שנחסמו. מידע נוסף על הגדרות אישיות אפשרויות נוספות, ראו סקירה כללית של ההגדרות.

במשימה 'מסווג אודיו' אפשר להשתמש בסוגים הבאים של נתוני קלט: קטעי אודיו בסטרימינג של אודיו. עליך לציין את מצב הריצה שמתאים את סוג נתוני הקלט בעת יצירת משימה. בחירת הכרטיסייה המתאימה ל: את סוג נתוני הקלט כדי לראות איך ליצור את המשימה ולהריץ מסקנות.

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_CLIPS)
        .setMaxResults(5)
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

AudioClassifierOptions options =
    AudioClassifierOptions.builder()
        .setBaseOptions(
            BaseOptions.builder().setModelAssetPath("model.tflite").build())
        .setRunningMode(RunningMode.AUDIO_STREAM)
        .setMaxResults(5)
        .setResultListener(audioClassifierResult -> {
             // Process the classification result here.
        })
        .build();
audioClassifier = AudioClassifier.createFromOptions(context, options);
    

הטמעת הקוד לדוגמה של מסווג האודיו מאפשרת למשתמש לעבור בין במצבי עיבוד שונים. הגישה הזו הופכת את הקוד ליצירת משימה למורכב יותר לא מתאים לתרחיש לדוגמה שלכם. אפשר לראות את הקוד של החלפת המצב בפונקציה initClassifier() AudioClassifierHelper.

אפשרויות תצורה

המשימה הזו כוללת את אפשרויות ההגדרה הבאות לאפליקציות ל-Android:

הכנת נתונים

מסווג האודיו פועל עם קטעי אודיו ועם שידורי אודיו. המשימה מטפל בעיבוד מראש של קלט הנתונים, כולל דגימה מחדש, אגירת נתונים ומסגור. עם זאת, צריך להמיר את נתוני הקלט של האודיו אובייקט com.google.mediapipe.tasks.components.containers.AudioData לפני העברה שלו למשימה של מסווג אודיו.

import com.google.mediapipe.tasks.components.containers.AudioData;

// Load an audio on the user’s device as a float array.

// Convert a float array to a MediaPipe’s AudioData object.
AudioData audioData =
    AudioData.create(
        AudioData.AudioDataFormat.builder()
            .setNumOfChannels(numOfChannels)
            .setSampleRate(sampleRate)
            .build(),
        floatData.length);
audioData.load(floatData);
    

import android.media.AudioRecord;
import com.google.mediapipe.tasks.components.containers.AudioData;

AudioRecord audioRecord =
    audioClassifier.createAudioRecord(/* numChannels= */ 1, /* sampleRate= */ 16000);
audioRecord.startRecording();

...

// To get a one second clip from the AudioRecord object:
AudioData audioData =
    AudioData.create(
        16000 /*sample counts per second*/);
        AudioData.AudioDataFormat.create(audioRecord.getFormat()),
audioData.load(audioRecord)
    

הרצת המשימה

אפשר להפעיל את הפונקציה classify שתואמת למצב הריצה כדי להסקת מסקנות. Audio Classifier API מחזיר את הקטגוריות האפשריות של אירועי האודיו שזוהו בנתוני האודיו של הקלט.

AudioClassifierResult classifierResult = audioClassifier.classify(audioData);
    

// Run inference on the audio block. The classifications results will be available
// via the `resultListener` provided in the `AudioClassifierOptions` when
// the audio classifier was created.
audioClassifier.classifyAsync(audioBlock, timestampMs);
    

שימו לב לנקודות הבאות:

• כשמפעילים את מצב שידור אודיו, צריך לספק גם את משימת סיווג אודיו עם חותמת זמן למעקב אחרי נתוני האודיו שכלולים בה הזרם שימש להסקת המסקנות.
• כשמפעילים את המודל של קטעי האודיו, המשימה של מסווג האודיו חסומה השרשור הנוכחי עד שיסתיים עיבוד האודיו בקלט. כדי לא לחסום תגובות של ממשק משתמש, צריך להפעיל את העיבוד שרשור ברקע.

אפשר לראות דוגמה להפעלת מסווג אודיו עם קטעי אודיו. כיתה אחת (AudioClassifierHelper) ב- דוגמה לקוד.

טיפול בתוצאות והצגתן

אחרי שמריצים את ההסקה, המשימה 'מסווג אודיו' מחזירה רשימה של קטגוריות של אירועי האודיו באודיו של הקלט. הדף העסקי הבא דוגמה לנתוני הפלט מהמשימה:

AudioClassifierResult:
  Timestamp in microseconds: 100
  ClassificationResult #0:
    Timestamp in microseconds: 100  
    Classifications #0 (single classification head):
      head index: 0
      category #0:
        category name: "Speech"
        score: 0.6
        index: 0
      category #1:
        category name: "Music"
        score: 0.2
        index: 1

באפליקציה ל-Android, המשימה מחזירה ClassificationResult שמכיל של AudioClassifierResult אובייקטים, שמייצגים חיזויים אירוע אודיו, כולל תווית הקטגוריה וציון המהימנות.

// In the audio clips mode, the classification results are for the entire audio
// clip. The results are timestamped AudioClassifierResult objects, each
// classifying an interval of the entire audio clip that starts at
// ClassificationResult.timestampMs().get().

for (ClassificationResult result : audioClassifierResult.classificationResults()) {
  // Audio interval start timestamp:
  result.timestampMs().get();
  // Classification result of the audio interval.
  result.classifications();
}
    

// In the audio stream mode, the classification results list only contains one
// element, representing the classification result of the audio block that
// starts at ClassificationResult.timestampMs in the audio stream.

ClassificationResult result = audioClassifierResult.classificationResults().get(0);
// The audio block start timestamp
audioClassifierResult.timestampMs();
// Alternatively, the same timestamp can be retrieved from
// result.timestampMs().get();

// Classification result.
result.classifications();
    

אפשר לראות דוגמה לאופן ההצגה של הסיווג תוצאות שהוחזרו מהמשימה הזו בכיתה ProbabilitiesAdapter של דוגמה לקוד.