Integroni ngulitësit e tekstit.

Përfshirësit e tekstit lejojnë futjen e tekstit në një vektor të veçorive me dimensione të larta që përfaqëson kuptimin e tij semantik, i cili më pas mund të krahasohet me vektorin e veçorive të teksteve të tjera për të vlerësuar ngjashmërinë e tyre semantike.

Ndryshe nga kërkimi i tekstit , ngulitësi i tekstit lejon llogaritjen e ngjashmërisë midis teksteve menjëherë në vend të kërkimit përmes një indeksi të paracaktuar të ndërtuar nga një korpus.

Përdorni API-në e Task Library TextEmbedder për të vendosur ngulitësin tuaj të personalizuar të tekstit në aplikacionet tuaja celulare.

Karakteristikat kryesore të TextEmbedder API

  • Përpunimi i tekstit të futur, duke përfshirë në grafik ose jashtë grafikut Tokenization Wordpiece ose Sentencepiece në tekstin hyrës.

  • Funksioni i integruar i shërbimeve për të llogaritur ngjashmërinë e kosinusit midis vektorëve të veçorive.

Modele të mbështetura të ngulitësit të tekstit

Modelet e mëposhtme janë të garantuara të jenë të pajtueshme me API- TextEmbedder .

Ekzekutoni konkluzionet në C++ 

// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();

// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);

// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector()
    result_2.embeddings[0].feature_vector());

Shikoni kodin burimor për më shumë opsione për të konfiguruar TextEmbedder .

Ekzekutoni konkluzionet në Python

Hapi 1: Instaloni paketën TensorFlow Lite Support Pypi.

Ju mund të instaloni paketën TensorFlow Lite Support Pypi duke përdorur komandën e mëposhtme:

pip install tflite-support

Hapi 2: Përdorimi i modelit 

from tflite_support.task import text

# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)

# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

Shikoni kodin burimor për më shumë opsione për të konfiguruar TextEmbedder .

Shembuj të rezultateve

Ngjashmëria e kosinusit midis vektorëve të tipareve të normalizuara kthen një rezultat midis -1 dhe 1. Sa më i lartë është më mirë, dmth një ngjashmëri kosinusi prej 1 do të thotë që dy vektorët janë identikë.

Cosine similarity: 0.954312

Provoni mjetin e thjeshtë demo CLI për TextEmbedder me modelin tuaj dhe të dhënat e testimit.

Kërkesat e përputhshmërisë së modelit

API TextEmbedder pret një model TFLite me metadatat e detyrueshme të modelit TFLite .

Mbështeten tre lloje kryesore të modeleve:

  • Modelet e bazuara në BERT (shih kodin burim për më shumë detaje):

    • Saktësisht 3 tensorë hyrës (kTfLiteString)

      • tensori i ID-ve, me emrin e meta të dhënave "ids",
      • Tenzori i maskës, me emrin e meta të dhënave "maskë".
      • Tensor i ID-ve të segmentit, me emrin e meta të dhënave "segment_ids"

    • Saktësisht një tensor daljeje (kTfLiteUInt8/kTfLiteFloat32)

      • me N komponentë që korrespondojnë me dimensionet N të vektorit të veçorive të kthyera për këtë shtresë dalëse.
      • Ose 2 ose 4 dimensione, p.sh. [1 x N] ose [1 x 1 x 1 x N] .

    • Njësi_procesi_input për Tokenizuesin e Wordpiece/Sentencepiece

  • Modelet e bazuara në koduesin universal të fjalive (shih kodin burimor për më shumë detaje):

    • Saktësisht 3 tensorë hyrës (kTfLiteString)

      • Tenzori i tekstit të pyetjes, me emrin e meta të dhënave "inp_text".
      • Tenzori i kontekstit të përgjigjes, me emrin e meta të dhënave "res_context".
      • Tenzori i tekstit të përgjigjes, me emrin e meta të dhënave "res_text".

    • Saktësisht 2 tensorë dalës (kTfLiteUInt8/kTfLiteFloat32)

      • Tenzori i kodimit të pyetjes, me emrin e meta të dhënave "query_encoding".
      • Tenzori i kodimit të përgjigjes, me emrin e meta të dhënave "response_encoding".
      • Të dyja me N komponentë që korrespondojnë me dimensionet N të vektorit të veçorive të kthyera për këtë shtresë dalëse.
      • Të dyja me dimensione 2 ose 4, p.sh. [1 x N] ose [1 x 1 x 1 x N] .

  • Çdo model integrues teksti me:

    • Një tensor teksti hyrës (kTfLiteString)

    • Të paktën një tensor ngulitjeje dalëse (kTfLiteUInt8/kTfLiteFloat32)

      • me N komponentë që korrespondojnë me dimensionet N të vektorit të veçorive të kthyera për këtë shtresë dalëse.
      • Ose 2 ose 4 dimensione, p.sh. [1 x N] ose [1 x 1 x 1 x N] .