TextEmbedder

classe publique finale TextEmbedder

Effectue une extraction de la représentation vectorielle continue du texte.

Cette API attend un modèle TFLite avec des métadonnées de modèle TFLite (facultatives).

Des métadonnées sont requises pour les modèles avec des Tensors d'entrée int32, car elles contiennent l'unité de processus d'entrée pour le Tokenizer du modèle. Aucune métadonnée n'est requise pour les modèles avec des Tensors d'entrée de chaîne.

  • Tensors d'entrée
    • Trois Tensors d'entrée (kTfLiteInt32) de forme [batch_size x bert_max_seq_len] représentant les ID d'entrée, les ID de masque et les ID de segment. Cette signature d'entrée nécessite une unité de processus BERT Tokenizer dans les métadonnées du modèle.
    • Ou un Tensor d'entrée (kTfLiteInt32) de forme [batch_size x max_seq_len] représentant les ID d'entrée. Cette signature d'entrée nécessite une unité de processus Regex Tokenizer dans les métadonnées du modèle.
    • Soit un Tensor d'entrée (kTfLiteString) sans forme ou dont la forme est [1], qui contient la chaîne d'entrée.
  • Au moins un Tensor de sortie (kTfLiteFloat32/kTfLiteUint8) de forme [1 x N], où N correspond au nombre de dimensions des représentations vectorielles continues produites.

Classes imbriquées

classe TextEmbedder.TextEmbedderOptions Options de configuration d'un TextEmbedder. 

Méthodes publiques

void
close()
Ferme et nettoie TextEmbedder.
double statique
cosineSimilarity(représentation vectorielle continue u, représentation vectorielle continue v)
Fonction utilitaire permettant de calculer la similarité cosinus entre deux objets Embedding.
statique TextEmbedder
createFromFile(contexte de contexte, String modelPath)
Crée une instance TextEmbedder à partir d'un fichier de modèle et de la valeur TextEmbedder.TextEmbedderOptions par défaut.
statique TextEmbedder
createFromFile(contexte de contexte, File modelFile)
Crée une instance TextEmbedder à partir d'un fichier de modèle et de la valeur TextEmbedder.TextEmbedderOptions par défaut.
statique TextEmbedder
createFromOptions(contexte, options TextEmbedder.TextEmbedderOptions)
Crée une instance TextEmbedder à partir de TextEmbedder.TextEmbedderOptions.
TextEmbedderResult
embed(String inputText)
Effectue une extraction de la représentation vectorielle continue du texte d'entrée.

Méthodes héritées

Méthodes publiques

public void close ()

Ferme et nettoie TextEmbedder.

public statique double cosineSimilarity (représentation vectorielle continue u, représentation vectorielle continue v)

Fonction utilitaire permettant de calculer la similarité cosinus entre deux objets Embedding.

Paramètres
u
v
Génère
IllegalArgumentException si les représentations vectorielles continues sont de types différents (nombre à virgule flottante ou quantifiée), ont des tailles différentes ou ont une norme L2 de 0.

public statique TextEmbedder createFromFile (contexte de contexte, String modelPath)

Crée une instance TextEmbedder à partir d'un fichier de modèle et de la valeur TextEmbedder.TextEmbedderOptions par défaut.

Paramètres
context un ERROR(/Context) Android.
modelPath Chemin d'accès au modèle textuel avec les métadonnées dans les éléments.
Génère
si une erreur se produit lors de la création de TextEmbedder.

public statique TextEmbedder createFromFile (contexte de contexte, File modelFile)

Crée une instance TextEmbedder à partir d'un fichier de modèle et de la valeur TextEmbedder.TextEmbedderOptions par défaut.

Paramètres
context un ERROR(/Context) Android.
modelFile l'instance de modèle textuel File.
Génère
IOException si une erreur d'E/S se produit lors de l'ouverture du fichier de modèle tflite.
si une erreur se produit lors de la création de TextEmbedder.

public statique TextEmbedder createFromOptions (contexte de contexte, options TextEmbedder.TextEmbedderOptions)

Crée une instance TextEmbedder à partir de TextEmbedder.TextEmbedderOptions.

Paramètres
context un ERROR(/Context) Android.
options une instance TextEmbedder.TextEmbedderOptions.
Génère
si une erreur se produit lors de la création de TextEmbedder.

public TextEmbedderResult embed (String inputText)

Effectue une extraction de la représentation vectorielle continue du texte d'entrée.

Paramètres
inputText String pour le traitement.