AudioClassifier

public final class AudioClassifier

音声クリップまたは音声ストリームに対して音声分類を行います。

この API は、ソロ入力オーディオ テンソルの必須 AudioProperties とオプション(ただし推奨)のラベル項目を出力分類テンソルごとに TENSOR_AXIS_LABELS 型の AssociatedFiles として含む必須の TFLite モデル メタデータを持つ TFLite モデルを想定しています。

入力テンソル:(kTfLiteFloat32)

  • サイズ「[batch * samples]」の入力オーディオ バッファ。
  • バッチ推論はサポートされていません(「batch」は 1 である必要があります)。
  • マルチチャネル モデルでは、チャネルをインターリーブする必要があります。

1 つ以上の出力テンソル: (kTfLiteFloat32)

  • 「N」を含む配列「[1 x N]」は、カテゴリの数を表します。
  • オプション(ただし推奨)は、TENSOR_AXIS_LABELS タイプの AssociatedFiles として項目にラベルを付けます。ラベルは 1 行に 1 つずつ含まれます。このような最初の AssociatedFile(存在する場合)が、結果の「category_name」フィールドに入力されます。「display_name」フィールドは、作成時に使用された「AudioClassifierOptions」の「display_names_locale」フィールド(デフォルトでは「en」)とロケールが一致する AssociatedFile(存在する場合)から入力されます(デフォルトでは「en」、つまり英語)。いずれも取得できない場合は、結果の「index」フィールドのみが入力されます。

ネストされたクラス

クラス AudioClassifier.AudioClassifierOptions 設定と AudioClassifier のオプション。 

パブリック メソッド

AudioClassifierResult
classifyAudioData AudioClip)
void
classifyAsyncAudioData AudioBlock、long timestampMs)
static AudioClassifier
createFromBuffer(コンテキスト コンテキスト、ByteBuffer modelBuffer)
モデルバッファとデフォルトの AudioClassifier.AudioClassifierOptions から AudioClassifier インスタンスを作成します。
static AudioClassifier
createFromFile(コンテキスト コンテキスト、String modelPath)
モデルファイルとデフォルトの AudioClassifier.AudioClassifierOptions から AudioClassifier インスタンスを作成します。
static AudioClassifier
createFromFile(コンテキスト コンテキスト、File modelFile)
モデルファイルとデフォルトの AudioClassifier.AudioClassifierOptions から AudioClassifier インスタンスを作成します。
static AudioClassifier
createFromOptions(コンテキスト コンテキスト、AudioClassifier.AudioClassifierOptions オプション)
AudioClassifier.AudioClassifierOptions インスタンスから AudioClassifier インスタンスを作成します。

継承されるメソッド

パブリック メソッド

public AudioClassifierResult classify AudioData AudioClip)

パラメータ
audioClip

public void classifyAsync (AudioData AudioBlock, long timestampMs)

パラメータ
audioBlock
timestampMs

public static AudioClassifier createFromBuffer (コンテキスト コンテキスト、ByteBuffer modelBuffer)

モデルバッファとデフォルトの AudioClassifier.AudioClassifierOptions から AudioClassifier インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
modelBuffer 分類モデルの直接の ByteBuffer または ERROR(/MappedByteBuffer)
例外
AudioClassifier の作成中にエラーが発生した場合。

public static AudioClassifier createFromFile (コンテキスト コンテキスト、String modelPath)

モデルファイルとデフォルトの AudioClassifier.AudioClassifierOptions から AudioClassifier インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
modelPath 分類モデルへのパスを指定します。
例外
AudioClassifier の作成中にエラーが発生した場合。

public static AudioClassifier createFromFile (コンテキスト コンテキスト、File modelFile)

モデルファイルとデフォルトの AudioClassifier.AudioClassifierOptions から AudioClassifier インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
modelFile 分類モデルの File インスタンス。
例外
IOException tflite モデルファイルを開くときに I/O エラーが発生した場合
AudioClassifier の作成中にエラーが発生した場合。

public static AudioClassifier createFromOptions (コンテキスト コンテキスト、AudioClassifier.AudioClassifierOptions オプション)

AudioClassifier.AudioClassifierOptions インスタンスから AudioClassifier インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
オプション AudioClassifier.AudioClassifierOptions インスタンス。
例外
AudioClassifier の作成中にエラーが発生した場合。