AudioEmbedder

public final class AudioEmbedder

音声クリップまたは音声ストリームに対して、音声埋め込み抽出を行います。

この API は、ソロ入力オーディオ テンソルの必須 AudioProperties とオプション(ただし推奨)のラベル項目を出力分類テンソルごとに TENSOR_AXIS_LABELS 型の AssociatedFiles として含む必須の TFLite モデル メタデータを持つ TFLite モデルを想定しています。

入力テンソル:(kTfLiteFloat32)

  • サイズ「[batch * samples]」の入力オーディオ バッファ。
  • バッチ推論はサポートされていません(「batch」は 1 である必要があります)。
  • マルチチャネル モデルでは、チャネルをインターリーブする必要があります。

1 つ以上の出力テンソル: (kTfLiteFloat32)

  • 「N」要素。この出力レイヤに対して返される特徴ベクトルの「N」次元に対応します。
  • 2 次元または 4 次元(「[1 x N]」または「[1 x 1 x 1 x N]」)。

ネストされたクラス

クラス AudioEmbedder.AudioEmbedderOptions 設定と AudioEmbedder のオプション。 

パブリック メソッド

static AudioEmbedder
createFromBuffer(コンテキスト コンテキスト、ByteBuffer modelBuffer)
モデルバッファとデフォルトの AudioEmbedder.AudioEmbedderOptions から AudioEmbedder インスタンスを作成します。
static AudioEmbedder
createFromFile(コンテキスト コンテキスト、String modelPath)
モデルファイルとデフォルトの AudioEmbedder.AudioEmbedderOptions から AudioEmbedder インスタンスを作成します。
static AudioEmbedder
createFromFile(コンテキスト コンテキスト、File modelFile)
モデルファイルとデフォルトの AudioEmbedder.AudioEmbedderOptions から AudioEmbedder インスタンスを作成します。
static AudioEmbedder
createFromOptions(コンテキスト コンテキスト、AudioEmbedder.AudioEmbedderOptions オプション)
AudioEmbedder.AudioEmbedderOptions インスタンスから AudioEmbedder インスタンスを作成します。
AudioEmbedderResult
embedAudioData AudioClip)
void
embedAsyncAudioData AudioBlock、long timestampMs)

継承されるメソッド

パブリック メソッド

public static AudioEmbedder createFromBuffer (コンテキスト コンテキスト、ByteBuffer modelBuffer)

モデルバッファとデフォルトの AudioEmbedder.AudioEmbedderOptions から AudioEmbedder インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
modelBuffer エンベディング モデルの直接の ByteBuffer または ERROR(/MappedByteBuffer)
例外
AudioEmbedder の作成中にエラーが発生した場合。

public static AudioEmbedder createFromFile (コンテキスト コンテキスト、文字列 modelPath)

モデルファイルとデフォルトの AudioEmbedder.AudioEmbedderOptions から AudioEmbedder インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
modelPath アセット内のエンベディング モデルへのパス。
例外
AudioEmbedder の作成中にエラーが発生した場合。

public static AudioEmbedder createFromFile (コンテキスト コンテキスト、File modelFile)

モデルファイルとデフォルトの AudioEmbedder.AudioEmbedderOptions から AudioEmbedder インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
modelFile エンベディング モデルの File インスタンス。
例外
IOException tflite モデルファイルを開くときに I/O エラーが発生した場合
AudioEmbedder の作成中にエラーが発生した場合。

public static AudioEmbedder createFromOptions (コンテキスト コンテキスト、AudioEmbedder.AudioEmbedderOptions オプション)

AudioEmbedder.AudioEmbedderOptions インスタンスから AudioEmbedder インスタンスを作成します。

パラメータ
コンテキスト Android ERROR(/Context)
オプション AudioEmbedder.AudioEmbedderOptions インスタンス。
例外
AudioEmbedder の作成中にエラーが発生した場合。

public AudioEmbedderResult embed AudioDataaudioClip)

パラメータ
audioClip

public void embedAsync (AudioData AudioBlock, long timestampMs)

パラメータ
audioBlock
timestampMs