AudioClassifier

public final class AudioClassifier

Führt Audioklassifizierungen für Audioclips oder Audiostreams durch.

Diese API erwartet ein TFLite-Modell mit obligatorischen TFLite-Modellmetadaten, das die obligatorischen AudioProperties des Solo-Eingabeaudiotensors und die optionalen (aber empfohlenen) Labelelemente als AssignedFiles vom Typ TENSOR_AXIS_LABELS pro Ausgabeklassifizierungstensor enthält.

Eingabetensor: (kTfLiteFloat32)

  • Audio-Eingabepuffer der Größe „[batch * examples]“.
  • Batchinferenz wird nicht unterstützt („Batch“ muss 1 sein).
  • Bei Multi-Channel-Modellen müssen die Channels verschränkt sein.

Mindestens einen Ausgabetensor mit: (kTfLiteFloat32)

  • [1 x N]-Array mit „N“ steht für die Anzahl der Kategorien.
  • Optional (aber empfohlen) kennzeichnen Elemente als AssignedFiles vom Typ TENSOR_AXIS_LABELS mit einem Label pro Zeile. Die erste AssignedFile (falls vorhanden) wird verwendet, um das Feld „category_name“ der Ergebnisse zu füllen. Das Feld „display_name“ wird aus der AssignedFile (falls vorhanden) gefüllt, deren Sprache mit dem Feld „display_names_locale“ der bei der Erstellung verwendeten AudioClassifierOptions“ übereinstimmt („en“ standardmäßig, d.h. Englisch). Wenn keine dieser Optionen verfügbar sind, wird nur das Feld „Index“ der Ergebnisse ausgefüllt.

Verschachtelte Klassen

Klasse AudioClassifier.AudioClassifierOptions Optionen für die Einrichtung und AudioClassifier

Public Methods

AudioClassifierResult
void
classifyAsync(AudioData audioBlock, langer ZeitstempelMs)
static AudioClassifier
createFromBuffer(Kontextkontext, ByteBuffer modelBuffer)
Erstellt eine AudioClassifier-Instanz aus einem Modellpuffer und dem Standard-AudioClassifier.AudioClassifierOptions.
static AudioClassifier
createFromFile(Kontextkontext, String ModelPath)
Erstellt eine AudioClassifier-Instanz aus einer Modelldatei und der Standard-AudioClassifier.AudioClassifierOptions.
static AudioClassifier
createFromFile(Kontextkontext, File-Modelldatei)
Erstellt eine AudioClassifier-Instanz aus einer Modelldatei und der Standard-AudioClassifier.AudioClassifierOptions.
static AudioClassifier
createFromOptions(Context context, AudioClassifier.AudioClassifierOptions-Optionen)
Erstellt eine AudioClassifier-Instanz aus einer AudioClassifier.AudioClassifierOptions-Instanz.

Übernommene Methoden

Public Methods

public AudioClassifierResult Klassifizierung (AudioData audioClip)

Parameter
audioClip

public void classifyAsync (AudioData audioBlock, long timestampMs)

Parameter
audioBlock
timestampMs

public static AudioClassifier createFromBuffer (Kontextkontext, ByteBuffer modelBuffer)

Erstellt eine AudioClassifier-Instanz aus einem Modellpuffer und dem Standard-AudioClassifier.AudioClassifierOptions.

Parameter
context ein Android-ERROR(/Context).
modelBuffer Ein direkter ByteBuffer oder ein ERROR(/MappedByteBuffer) des Klassifizierungsmodells.
Löst aus
Wenn beim Erstellen von AudioClassifier ein Fehler auftritt.

public static AudioClassifier createFromFile (Kontextkontext, String modelPath)

Erstellt eine AudioClassifier-Instanz aus einer Modelldatei und der Standard-AudioClassifier.AudioClassifierOptions.

Parameter
context ein Android-ERROR(/Context).
modelPath zum Klassifizierungsmodell in den Assets.
Löst aus
Wenn beim Erstellen von AudioClassifier ein Fehler auftritt.

public static AudioClassifier createFromFile (Kontextkontext, Datei Modelldatei)

Erstellt eine AudioClassifier-Instanz aus einer Modelldatei und der Standard-AudioClassifier.AudioClassifierOptions.

Parameter
context ein Android-ERROR(/Context).
modelFile Die File-Instanz des Klassifizierungsmodells.
Löst aus
IOException Wenn beim Öffnen der TFlite-Modelldatei ein E/A-Fehler auftritt.
Wenn beim Erstellen von AudioClassifier ein Fehler auftritt.

public static AudioClassifier createFromOptions (Context context, AudioClassifier.AudioClassifierOptions)

Erstellt eine AudioClassifier-Instanz aus einer AudioClassifier.AudioClassifierOptions-Instanz.

Parameter
context ein Android-ERROR(/Context).
Optionen Eine AudioClassifier.AudioClassifierOptions-Instanz.
Löst aus
Wenn beim Erstellen von AudioClassifier ein Fehler auftritt.