AudioEmbedder

classe final pública AudioEmbedder

Executa extração de embedding de áudio em clipes ou streams de áudio.

Essa API espera um modelo TFLite com metadados obrigatórios de modelo TFLite que contêm as AudioProperties obrigatórias do tensor de áudio de entrada solo e os itens de rótulo opcionais (mas recomendados) como AssociatedFiles com o tipo TENSOR_AXIS_LABELS por tensor de classificação de saída.

Tensor de entrada: (kTfLiteFloat32)

buffer de áudio de entrada de tamanho "[batch * samples]".
a inferência em lote não é aceita. O valor de "lote" precisa ser 1.
Para modelos multicanal, os canais precisam ser intercalados.

Pelo menos um tensor de saída com: (kTfLiteFloat32)

Componentes "N" correspondentes às dimensões "N" do vetor de atributo retornado para essa camada de saída.
Duas ou quatro dimensões, ou seja, "[1 x N]" ou "[1 x 1 x 1 x N]".

Classes aninhadas

classe AudioEmbedder.AudioEmbedderOptions Opções para configurar e AudioEmbedder.

Métodos públicos

estático AudioEmbedder	createFromBuffer(contexto de contexto, modelBuffer ByteBuffer) Cria uma instância `AudioEmbedder` com base em um buffer de modelo e um `AudioEmbedder.AudioEmbedderOptions` padrão.
estático AudioEmbedder	createFromFile(contexto de contexto, modelPath String) Cria uma instância `AudioEmbedder` com base em um arquivo de modelo e um `AudioEmbedder.AudioEmbedderOptions` padrão.
estático AudioEmbedder	createFromFile(contexto de contexto, File modelFile) Cria uma instância `AudioEmbedder` com base em um arquivo de modelo e um `AudioEmbedder.AudioEmbedderOptions` padrão.
estático AudioEmbedder	createFromOptions(Contexto do contexto, opções de AudioEmbedder.AudioEmbedderOptions) Cria uma instância `AudioEmbedder` de uma instância `AudioEmbedder.AudioEmbedderOptions`.
AudioEmbedderResult	embed(audioClip AudioData)
void	embedAsync(AudioData audioBlock, long timestampMs)

Métodos herdados

Da classe com.google.mediapipe.tasks.audio.core.BaseAudioTaskApi

void	close() Fecha e limpa a tarefa de áudio do MediaPipe.
AudioRecord	createAudioRecord() Cria uma instância `AudioRecord` para gravar o stream de áudio que tem o canal mono com taxa de amostragem a 16 kHz, a taxa de amostragem necessária para modelos como o Yamnet.
AudioRecord	createAudioRecord(int numChannels, int sampleRate, int requiredInputBufferSize) Cria uma instância de `AudioRecord` para gravar o stream de áudio.

Da classe java.lang.Object

boolean	equals(Objeto arg0)
final Classe<?>	getClass()
int	hashCode()
nulo final	notify()
nulo final	notifyAll()
String	toString()
nulo final	wait(long arg0, int arg1)
nulo final	wait(long arg0)
nulo final	wait()

Da interface java.lang.AutoCloseable

abstrato nulo

close()

Métodos públicos

público estático AudioEmbedder createFromBuffer (contexto de contexto, ByteBuffer modelBuffer)

Cria uma instância AudioEmbedder com base em um buffer de modelo e um AudioEmbedder.AudioEmbedderOptions padrão.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
modelBuffer	um `ByteBuffer` direto ou um `ERROR(/MappedByteBuffer)` do modelo de embedding.

Gera

	se houver um erro durante a criação de `AudioEmbedder`.

público estático AudioEmbedder createFromFile (contexto de contexto, String modelPath)

Cria uma instância AudioEmbedder com base em um arquivo de modelo e um AudioEmbedder.AudioEmbedderOptions padrão.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
modelPath	caminho para o modelo de embedding nos recursos.

Gera

	se houver um erro durante a criação de `AudioEmbedder`.

público estático AudioEmbedder createFromFile (contexto de contexto, arquivo modelFile)

Cria uma instância AudioEmbedder com base em um arquivo de modelo e um AudioEmbedder.AudioEmbedderOptions padrão.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
modelFile	a instância `File` do modelo de embedding.

Gera

IOException	se ocorrer um erro de E/S ao abrir o arquivo do modelo do tflite.
	se houver um erro durante a criação de `AudioEmbedder`.

public Static AudioEmbedder createFromOptions (contexto de contexto, AudioEmbedder.AudioEmbedderOptions opções)

Cria uma instância AudioEmbedder de uma instância AudioEmbedder.AudioEmbedderOptions.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
do modelo.	uma instância `AudioEmbedder.AudioEmbedderOptions`.

Gera

	se houver um erro durante a criação de `AudioEmbedder`.

public AudioEmbedderResult embed (AudioData audioClip)

Parâmetros

audioClip

public void embedAsync (AudioData audioBlock, long timestampMs)

Parâmetros

audioBlock
timestampMs