文字嵌入器可將文字嵌入高維度的特徵向量 代表其語意意義，可以用所有特徵 評估文字語意相似度
相對於 文字搜尋、 文字嵌入器可以即時計算文字之間的相似度 不必搜尋從語料庫建構的預先定義索引
使用工作程式庫 TextEmbedder API 將自訂文字嵌入工具部署至
您的行動應用程式
TextEmbedder API 的主要功能
支援的文字嵌入器模型
下列型號保證與 TextEmbedder 相容
也能使用 Google Cloud CLI 或
Compute Engine API
在 C++ 中執行推論
// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();
// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);
// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector()
result_2.embeddings[0].feature_vector());
詳情請參閱
原始碼
取得更多設定 TextEmbedder 的選項。
在 Python 中執行推論
步驟 1：安裝 TensorFlow Lite Support Pypi 套件。
您可以使用下列指令安裝 TensorFlow Lite Support Pypi 套件 指令：
pip install tflite-support
步驟 2：使用模型
from tflite_support.task import text
# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)
# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
詳情請參閱
原始碼
取得更多設定 TextEmbedder 的選項。
搜尋結果範例
正規化特徵向量之間的餘弦相似度會傳回介於 -1 之間的分數 和 1.越高越好，也就是說，餘弦相似度為 1 表示兩個向量 完全相同。
Cosine similarity: 0.954312
試試簡易設計 TextEmbedder 適用的 CLI 示範工具 使用自己的模型與測試資料
模型相容性需求
TextEmbedder API 預期的 TFLite 模型必須具有
TFLite 模型中繼資料。
系統支援三種主要的模型類型：
以 BERT 為基礎的模型 (請參閱 原始碼 瞭解詳情)：
只會有 3 個輸入張量 (kTfLiteString)
- 中繼資料名稱為「ids」
- 遮罩張量，中繼資料名稱為「mask」。
- 區隔 ID 張量，中繼資料名稱為「segment_ids」
只有一個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)
- 包含與
N尺寸相對應的N元件 傳回的特徵向量 - 2 或 4 個維度，例如
[1 x N]或[1 x 1 x 1 x N]。
- 包含與
Wordpart/Sentencepart Tokenizer 的 input_process_units
Universal Sentence Encoder 模型 (請參閱 原始碼 瞭解詳情)：
只會有 3 個輸入張量 (kTfLiteString)
- 查詢文字張量，中繼資料名稱為「inp_text」。
- 回應情境張量，中繼資料名稱為「res_context」。
- 回應文字張量，中繼資料名稱為「res_text」。
恰好 2 個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)
- 查詢編碼張量，中繼資料名稱為「query_encoding」。
- 回應編碼張量，中繼資料名稱為「response_encoding」。
- 兩者都含有與
N尺寸相對應的N元件 傳回的特徵向量 - 兩者都有 2 或 4 個維度，例如
[1 x N]或[1 x 1 x 1 x N]。
具有下列條件的任何文字嵌入器模型：
- 輸入文字張量 (kTfLiteString)
至少一個輸出嵌入張量 (kTfLiteUInt8/kTfLiteFloat32)
- 包含與
N尺寸相對應的N元件 傳回的特徵向量 - 2 或 4 個維度，例如
[1 x N]或[1 x 1 x 1 x N]。
- 包含與