AudioClassifier

classe final pública AudioClassifier

Faz a classificação de áudio em clipes ou streams de áudio.

Essa API espera um modelo TFLite com metadados obrigatórios de modelo TFLite que contêm as AudioProperties obrigatórias do tensor de áudio de entrada solo e os itens de rótulo opcionais (mas recomendados) como AssociatedFiles com o tipo TENSOR_AXIS_LABELS por tensor de classificação de saída.

Tensor de entrada: (kTfLiteFloat32)

buffer de áudio de entrada de tamanho "[batch * samples]".
a inferência em lote não é aceita. O valor de "lote" precisa ser 1.
Para modelos multicanal, os canais precisam ser intercalados.

Pelo menos um tensor de saída com: (kTfLiteFloat32)

A matriz "[1 x N]" com "N" representa o número de categorias.
itens de rótulo opcionais (mas recomendados) como AssociatedFiles com o tipo TENSOR_AXIS_LABELS, contendo um rótulo por linha. O primeiro AssociatedFile (se houver) é usado para preencher o campo "category_name" dos resultados. O campo "display_name" é preenchido a partir de AssociatedFile (se houver) com localidade que corresponde ao campo "display_names_locale" de "AudioClassifierOptions" usado no momento da criação ("en" por padrão, ou seja, inglês). Se nenhum deles estiver disponível, somente o campo "índice" dos resultados será preenchido.

Classes aninhadas

classe AudioClassifier.AudioClassifierOptions Opções para configurar e AudioClassifier.

Métodos públicos

AudioClassifierResult	classify(audioClip AudioData)
void	classifyAsync(AudioData audioBlock, carimbos de data/hora longos)
estático AudioClassifier	createFromBuffer(contexto de contexto, modelBuffer ByteBuffer) Cria uma instância `AudioClassifier` com base em um buffer de modelo e um `AudioClassifier.AudioClassifierOptions` padrão.
estático AudioClassifier	createFromFile(contexto de contexto, modelPath String) Cria uma instância `AudioClassifier` com base em um arquivo de modelo e um `AudioClassifier.AudioClassifierOptions` padrão.
estático AudioClassifier	createFromFile(contexto de contexto, File modelFile) Cria uma instância `AudioClassifier` com base em um arquivo de modelo e um `AudioClassifier.AudioClassifierOptions` padrão.
estático AudioClassifier	createFromOptions(contexto de contexto, opções AudioClassifier.AudioClassifierOptions) Cria uma instância `AudioClassifier` de uma instância `AudioClassifier.AudioClassifierOptions`.

Métodos herdados

Da classe com.google.mediapipe.tasks.audio.core.BaseAudioTaskApi

void	close() Fecha e limpa a tarefa de áudio do MediaPipe.
AudioRecord	createAudioRecord() Cria uma instância `AudioRecord` para gravar o stream de áudio que tem o canal mono com taxa de amostragem a 16 kHz, a taxa de amostragem necessária para modelos como o Yamnet.
AudioRecord	createAudioRecord(int numChannels, int sampleRate, int requiredInputBufferSize) Cria uma instância de `AudioRecord` para gravar o stream de áudio.

Da classe java.lang.Object

boolean	equals(Objeto arg0)
final Classe<?>	getClass()
int	hashCode()
nulo final	notify()
nulo final	notifyAll()
String	toString()
nulo final	wait(long arg0, int arg1)
nulo final	wait(long arg0)
nulo final	wait()

Da interface java.lang.AutoCloseable

abstrato nulo

close()

Métodos públicos

public AudioClassifierResult classificar (AudioData audioClip)

Parâmetros

audioClip

public void classifyAsync (AudioData audioBlock, long timestampMs)

Parâmetros

audioBlock
timestampMs

public Static AudioClassifier createFromBuffer (contexto de contexto, ByteBuffer modelBuffer)

Cria uma instância AudioClassifier com base em um buffer de modelo e um AudioClassifier.AudioClassifierOptions padrão.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
modelBuffer	um `ByteBuffer` direto ou um `ERROR(/MappedByteBuffer)` do modelo de classificação.

Gera

	se houver um erro durante a criação de `AudioClassifier`.

public Static AudioClassifier createFromFile (contexto de contexto, String modelPath)

Cria uma instância AudioClassifier com base em um arquivo de modelo e um AudioClassifier.AudioClassifierOptions padrão.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
modelPath	para o modelo de classificação nos recursos.

Gera

	se houver um erro durante a criação de `AudioClassifier`.

público estático AudioClassifier createFromFile (contexto de contexto, arquivo modelFile)

Cria uma instância AudioClassifier com base em um arquivo de modelo e um AudioClassifier.AudioClassifierOptions padrão.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
modelFile	a instância `File` do modelo de classificação.

Gera

IOException	se ocorrer um erro de E/S ao abrir o arquivo do modelo do tflite.
	se houver um erro durante a criação de `AudioClassifier`.

public Static AudioClassifier createFromOptions (contexto de contexto, opções AudioClassifier.AudioClassifierOptions)

Cria uma instância AudioClassifier de uma instância AudioClassifier.AudioClassifierOptions.

Parâmetros

contexto	um `ERROR(/Context)` do Android.
do modelo.	uma instância `AudioClassifier.AudioClassifierOptions`.

Gera

	se houver um erro durante a criação de `AudioClassifier`.