Integroni ngulitësit e tekstit.

Pajisjet që ngulitin tekstin lejojnë ngulitjen e tekstit në një vektor karakteristikash me dimensione të larta që përfaqëson kuptimin e tij semantik, i cili më pas mund të krahasohet me vektorin e karakteristikave të teksteve të tjera për të vlerësuar ngjashmërinë e tyre semantike.

Në ndryshim nga kërkimi i tekstit , programi i ngulitjes së tekstit lejon llogaritjen e ngjashmërisë midis teksteve menjëherë në vend që të kërkojë përmes një indeksi të paracaktuar të ndërtuar nga një korpus.

Përdorni API-n TextEmbedder të Bibliotekës së Detyrave për të vendosur programin tuaj të personalizuar të ngulitjes së tekstit në aplikacionet tuaja celulare.

Karakteristikat kryesore të API-t TextEmbedder

• Përpunimi i tekstit hyrës, duke përfshirë tokenizimet Wordpiece ose Sentencepiece brenda ose jashtë grafikut në tekstin hyrës.

• Funksion i integruar për të llogaritur ngjashmërinë kosinusale midis vektorëve të karakteristikave.

Modelet e mbështetura të ngulitësit të tekstit

Modelet e mëposhtme garantohen të jenë të pajtueshme me API-n TextEmbedder .

• Modeli TFLite i Kodimit të Sentencave Universale nga TensorFlow Hub

• Modele të personalizuara që plotësojnë kërkesat e përputhshmërisë së modelit .

Ekzekutoni përfundimin në C++

// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();

// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);

// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector()
    result_2.embeddings[0].feature_vector());

Shih kodin burimor për më shumë opsione për të konfiguruar TextEmbedder .

Ekzekutoni përfundimin në Python

Hapi 1: Instaloni paketën Pypi të Mbështetjes së TensorFlow Lite.

Mund ta instaloni paketën TensorFlow Lite Support Pypi duke përdorur komandën e mëposhtme:

pip install tflite-support

Hapi 2: Përdorimi i modelit

from tflite_support.task import text

# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)

# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

Shih kodin burimor për më shumë opsione për të konfiguruar TextEmbedder .

Rezultatet e shembujve

Ngjashmëria kosinusale midis vektorëve të normalizuar të karakteristikave kthen një rezultat midis -1 dhe 1. Sa më e lartë aq më mirë, d.m.th., një ngjashmëri kosinusale prej 1 do të thotë që të dy vektorët janë identikë.

Cosine similarity: 0.954312

Provoni mjetin e thjeshtë demo CLI për TextEmbedder me modelin tuaj dhe të dhënat e testimit.

Kërkesat e përputhshmërisë së modelit

API-ja TextEmbedder pret një model TFLite me meta të dhëna të detyrueshme të modelit TFLite .

Mbështeten tre lloje kryesore të modeleve:

• Modelet e bazuara në BERT (shih kodin burimor për më shumë detaje):

  • Saktësisht 3 tenzorë hyrës (kTfLiteString)

  • Tensori i ID-ve, me emrin e meta-datave "ids",

  • Tensori i maskës, me emrin e meta të dhënave "mask".

  • Tensori i ID-ve të segmenteve, me emrin e meta të dhënave "segment_ids"

  • Saktësisht një tensor dalës (kTfLiteUInt8/kTfLiteFloat32)

  • me N komponentë që korrespondojnë me N dimensionet e vektorit të karakteristikave të kthyera për këtë shtresë dalëse.

  • Ose 2 ose 4 dimensione, dmth [1 x N] ose [1 x 1 x 1 x N] .

  • Një input_process_units për Wordpiece/Sentencepiece Tokenizer

• Modele të bazuara në Kodifikuesin Universal të Fjalive (shih kodin burimor për më shumë detaje):

  • Saktësisht 3 tenzorë hyrës (kTfLiteString)

  • Tensori i tekstit të pyetjes, me emrin e meta-datave "inp_text".

  • Tensori i kontekstit të përgjigjes, me emrin e meta të dhënave "res_context".

  • Tensori i tekstit të përgjigjes, me emrin e meta të dhënave "res_text".

  • Saktësisht 2 tenzorë dalës (kTfLiteUInt8/kTfLiteFloat32)

  • Tensori i kodimit të pyetjes, me emrin e meta të dhënave "query_encoding".

  • Tensori i kodimit të përgjigjes, me emrin e meta të dhënave "response_encoding".

  • Të dyja me N komponentë që korrespondojnë me N dimensionet e vektorit të karakteristikave të kthyera për këtë shtresë dalëse.

  • Të dyja me 2 ose 4 dimensione, dmth. [1 x N] ose [1 x 1 x 1 x N] .

• Çdo model i ngulitësit të tekstit me:

  • Një tenzor teksti hyrës (kTfLiteString)

  • Të paktën një tensor ngulitës i daljes (kTfLiteUInt8/kTfLiteFloat32)

  • me N komponentë që korrespondojnë me N dimensionet e vektorit të karakteristikave të kthyera për këtë shtresë dalëse.

  • Ose 2 ose 4 dimensione, dmth [1 x N] ose [1 x 1 x 1 x N] .