TextEmbedder

public final class TextEmbedder

Führt eine Einbettungsextraktion auf Text durch.

Diese API erwartet ein TFLite-Modell mit (optionalen) TFLite-Modellmetadaten.

Für Modelle mit int32-Eingabetensoren sind Metadaten erforderlich, da sie die Eingabeprozesseinheit für den Tokenizer des Modells enthalten. Für Modelle mit Stringeingabetensoren sind keine Metadaten erforderlich.

  • Eingabetensoren
    • Drei Eingabetensoren (kTfLiteInt32) der Form [batch_size x bert_max_seq_len], die die Eingabe-IDs, Masken-IDs und Segment-IDs darstellen. Für diese Eingabesignatur ist eine Bert Tokenizer-Prozesseinheit in den Modellmetadaten erforderlich.
    • Oder ein Eingabetensor (kTfLiteInt32) der Form [batch_size x max_seq_len], der die Eingabe-IDs darstellt. Diese Eingabesignatur erfordert eine Regex Tokenizer-Prozesseinheit in den Modellmetadaten.
    • Oder einen Eingabetensor (kTfLiteString), der formlos ist oder die Form [1] hat, die den Eingabestring enthält.
  • Mindestens einen Ausgabetensor (kTfLiteFloat32/kTfLiteUint8) mit der Form [1 x N], wobei N die Anzahl der Dimensionen in den erzeugten Einbettungen ist.

Verschachtelte Klassen

Klasse TextEmbedder.TextEmbedderOptions Optionen zum Einrichten eines TextEmbedder-Objekts. 

Public Methods

void
close()
Schließt und bereinigt das TextEmbedder.
static Double
cosineSimilarity(Einbettung u, Einbetten v)
Dienstprogrammfunktion zum Berechnen der Kosinus-Ähnlichkeit zwischen zwei Embedding-Objekten.
Statischer TextEmbedder
createFromFile(Kontextkontext, String ModelPath)
Erstellt eine TextEmbedder-Instanz aus einer Modelldatei und der Standard-TextEmbedder.TextEmbedderOptions.
Statischer TextEmbedder
createFromFile(Kontextkontext, File-Modelldatei)
Erstellt eine TextEmbedder-Instanz aus einer Modelldatei und der Standard-TextEmbedder.TextEmbedderOptions.
Statischer TextEmbedder
createFromOptions(Context context, TextEmbedder.TextEmbedderOptions-Optionen)
Erstellt eine TextEmbedder-Instanz aus TextEmbedder.TextEmbedderOptions.
TextEmbedderResult
embed(String inputText)
Führt eine Einbettungsextraktion auf den Eingabetext durch.

Übernommene Methoden

Public Methods

public void close ()

Schließt und bereinigt das TextEmbedder.

public static double cosineSimilarity (Embedding u, Embedding v)

Dienstprogrammfunktion zum Berechnen der Kosinus-Ähnlichkeit zwischen zwei Embedding-Objekten.

Parameter
u
v
Löst aus
IllegalArgumentException die Einbettungen unterschiedlicher Typen (Gleitkommazahl oder quantisiert) sind, unterschiedliche Größen haben oder eine L2-Norm von 0 haben.

public static TextEmbedder createFromFile (Kontextkontext, String modelPath)

Erstellt eine TextEmbedder-Instanz aus einer Modelldatei und der Standard-TextEmbedder.TextEmbedderOptions.

Parameter
context ein Android-ERROR(/Context).
modelPath Pfad zum Textmodell mit Metadaten in den Assets.
Löst aus
wenn beim Erstellen von TextEmbedder ein Fehler auftritt.

public static TextEmbedder createFromFile (Kontextkontext, Datei Modelldatei)

Erstellt eine TextEmbedder-Instanz aus einer Modelldatei und der Standard-TextEmbedder.TextEmbedderOptions.

Parameter
context ein Android-ERROR(/Context).
modelFile Die File-Instanz des Textmodells.
Löst aus
IOException Wenn beim Öffnen der TFlite-Modelldatei ein E/A-Fehler auftritt.
Wenn beim Erstellen von TextEmbedder ein Fehler auftritt.

public static TextEmbedder createFromOptions (Context context, TextEmbedder.TextEmbedderOptions-Optionen)

Erstellt eine TextEmbedder-Instanz aus TextEmbedder.TextEmbedderOptions.

Parameter
context ein Android-ERROR(/Context).
Optionen Eine TextEmbedder.TextEmbedderOptions-Instanz.
Löst aus
Wenn beim Erstellen von TextEmbedder ein Fehler auftritt.

public TextEmbedderResult embed (String inputText)

Führt eine Einbettungsextraktion auf den Eingabetext durch.

Parameter
inputText String für die Verarbeitung.