TextEmbedder

clase final pública TextEmbedder

Realiza extracciones de incorporación en textos.

Esta API espera un modelo de TFLite con metadatos del modelo de TFLite (opcional).

Los metadatos son obligatorios para los modelos con tensores de entrada int32 porque contienen la unidad de proceso de entrada para el Tokenizer del modelo. No se requieren metadatos para los modelos con tensores de entrada de string.

  • Tensores de entrada
    • Tres tensores de entrada (kTfLiteInt32) de forma [batch_size x bert_max_seq_len] que representan los IDs de entrada, los IDs de enmascaramiento y los IDs de segmento. Esta firma de entrada requiere una unidad de proceso de BERT Tokenizer en los metadatos del modelo.
    • O bien, un tensor de entrada (kTfLiteInt32) de forma [batch_size x max_seq_len] que representa los IDs de entrada. Esta firma de entrada requiere una unidad de proceso del Tokenizador de regex en los metadatos del modelo.
    • O bien, un tensor de entrada (kTfLiteString) sin forma o con la forma [1] que contiene la cadena de entrada.
  • Al menos un tensor de salida (kTfLiteFloat32/kTfLiteUint8) con la forma [1 x N], en la que N es la cantidad de dimensiones en las incorporaciones producidas.

Categorías anidadas

clase TextEmbedder.TextEmbedderOptions Opciones para configurar un TextEmbedder

Métodos públicos

void
close()
Cierra y limpia el TextEmbedder.
doble estático
cosineSimilarity(Incorporación, Incorporación)
Es la función de utilidad para calcular la similitud coseno entre dos objetos Embedding.
TextEmbedder estático
createFromFile(contexto de contexto, String modelPath)
Crea una instancia de TextEmbedder a partir de un archivo de modelo y el TextEmbedder.TextEmbedderOptions predeterminado.
TextEmbedder estático
createFromFile(contexto de contexto, Archivo modelFile)
Crea una instancia de TextEmbedder a partir de un archivo de modelo y el TextEmbedder.TextEmbedderOptions predeterminado.
TextEmbedder estático
createFromOptions(contexto de contexto, opciones TextEmbedder.TextEmbedderOptions)
Crea una instancia de TextEmbedder a partir de TextEmbedder.TextEmbedderOptions.
TextEmbedderResult
embed(String inputText)
Realiza una extracción de incorporación en el texto de entrada.

Métodos heredados

Métodos públicos

public void close ()

Cierra y limpia el TextEmbedder.

público estático doble cosineSimilarity (Incorporación u, Incorporación v)

Es la función de utilidad para calcular la similitud coseno entre dos objetos Embedding.

Parámetros
u
v
Arroja
IllegalArgumentException si las incorporaciones son de diferentes tipos (flotante frente a cuantificada), tienen diferentes tamaños o tienen una norma L2 de 0.

publica estática estática TextEmbedder createFromFile (contexto de contexto, String modelPath)

Crea una instancia de TextEmbedder a partir de un archivo de modelo y el TextEmbedder.TextEmbedderOptions predeterminado.

Parámetros
Contexto un ERROR(/Context) de Android
modelPath ruta de acceso al modelo de texto con metadatos en los recursos.
Arroja
Si se produce un error durante la creación de TextEmbedder.

publica estática estática TextEmbedder createFromFile (contexto de contexto, archivo modelFile)

Crea una instancia de TextEmbedder a partir de un archivo de modelo y el TextEmbedder.TextEmbedderOptions predeterminado.

Parámetros
Contexto un ERROR(/Context) de Android
modelFile la instancia del modelo de texto File.
Arroja
IOException si se produce un error de E/S cuando se abre el archivo del modelo de tflite.
Si se produce un error durante la creación de TextEmbedder.

estática pública TextEmbedder createFromOptions (contexto de contexto, opciones TextEmbedder.TextEmbedderOptions)

Crea una instancia de TextEmbedder a partir de TextEmbedder.TextEmbedderOptions.

Parámetros
Contexto un ERROR(/Context) de Android
Opciones una instancia de TextEmbedder.TextEmbedderOptions.
Arroja
Si se produce un error durante la creación de TextEmbedder.

public TextEmbedderResult embed (String inputText)

Realiza una extracción de incorporación en el texto de entrada.

Parámetros
inputText un String para su procesamiento.