整合文字嵌入器。

文字嵌入器可將文字嵌入高維度特徵向量，代表文字的語意，然後與其他文字的特徵向量比較，評估語意相似度。

與文字搜尋不同，文字嵌入模型可即時計算文字之間的相似度，而非搜尋從語料庫建構的預先定義索引。

使用 Task Library TextEmbedder API 將自訂文字嵌入器部署至行動應用程式。

TextEmbedder API 的主要功能

  • 處理輸入文字，包括在圖表內或圖表外對輸入文字進行 Wordpiece 或 Sentencepiece 權杖化。

  • 內建公用函式，可計算特徵向量之間的餘弦相似度。

支援的文字嵌入模型

下列機型保證與 TextEmbedder API 相容。

以 C++ 執行推論

// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();

// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);

// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector()
    result_2.embeddings[0].feature_vector());

如要進一步瞭解如何設定 TextEmbedder，請參閱原始碼。

在 Python 中執行推論

步驟 1：安裝 TensorFlow Lite 支援 Pypi 套件。

您可以使用下列指令安裝 TensorFlow Lite 支援 Pypi 套件：

pip install tflite-support

步驟 2：使用模型

from tflite_support.task import text

# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)

# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

如要進一步瞭解如何設定 TextEmbedder，請參閱原始碼。

搜尋結果範例

標準化特徵向量之間的餘弦相似度會傳回介於 -1 和 1 之間的分數。值越高越好，也就是說，餘弦相似度為 1 代表兩個向量完全相同。

Cosine similarity: 0.954312

使用自己的模型和測試資料，試用簡單的 TextEmbedder CLI 示範工具。

模型相容性規定

TextEmbedder API 預期會收到包含必要 TFLite 模型中繼資料的 TFLite 模型。

支援三種主要模型：

  • 以 BERT 為基礎的模型 (詳情請參閱原始碼)：

    • 剛好 3 個輸入張量 (kTfLiteString)

    • ID 張量，中繼資料名稱為「ids」

    • 遮罩張量，中繼資料名稱為「mask」。

    • 區隔 ID 張量，中繼資料名稱為「segment_ids」

    • 只有一個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)

    • ，其中 N 元件對應於這個輸出層傳回的特徵向量 N 維度。

    • 2 個或 4 個維度，即 [1 x N] 或 [1 x 1 x 1 x N]。

    • Wordpiece/Sentencepiece Tokenizer 的 input_process_units

  • 以通用句子編碼器為基礎的模型 (詳情請參閱原始碼)：

    • 剛好 3 個輸入張量 (kTfLiteString)

    • 查詢文字張量，中繼資料名稱為「inp_text」。

    • 回應內容張量，中繼資料名稱為「res_context」。

    • 回應文字張量，中繼資料名稱為「res_text」。

    • 正好 2 個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)

    • 查詢編碼張量，中繼資料名稱為「query_encoding」。

    • 回應編碼張量，中繼資料名稱為「response_encoding」。

    • 兩者都具有與這個輸出層傳回的特徵向量 N 維度對應的 N 元件。

    • 兩者都必須有 2 個或 4 個維度，也就是 [1 x N] 或 [1 x 1 x 1 x N]。

  • 任何文字嵌入模型，且具備下列特點：

    • 輸入文字張量 (kTfLiteString)

    • 至少一個輸出嵌入張量 (kTfLiteUInt8/kTfLiteFloat32)

    • ，其中 N 元件對應於這個輸出層傳回的特徵向量 N 維度。

    • 2 個或 4 個維度，即 [1 x N] 或 [1 x 1 x 1 x N]。