文本嵌入器允许将文本嵌入高维特征向量 表示其语义含义，然后可将这些 来评估其语义相似度。
与 文本搜索、 文本嵌入器允许即时计算文本之间的相似度 而不是搜索基于语料库构建的预定义索引。
使用 Task Library TextEmbedder API 将自定义文本嵌入器部署到
您的移动应用
TextEmbedder API 的主要功能
支持的文本嵌入器模型
以下模型保证与 TextEmbedder兼容
API。
使用 C++ 运行推理
// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();
// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);
// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
result_1.embeddings[0].feature_vector()
result_2.embeddings[0].feature_vector());
请参阅
源代码
了解用于配置 TextEmbedder 的更多选项。
在 Python 中运行推理
第 1 步：安装 TensorFlow Lite 支持 Pypi 软件包。
您可以使用以下命令安装 TensorFlow Lite Support Pypi 软件包 命令：
pip install tflite-support
第 2 步：使用模型
from tflite_support.task import text
# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)
# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)
# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)
请参阅
源代码
了解用于配置 TextEmbedder 的更多选项。
示例结果
归一化特征向量之间的余弦相似度会返回 -1 之间的得分 和 1.值越高越好，即余弦相似度为 1 表示两个向量 完全相同。
Cosine similarity: 0.954312
尝试 适用于 TextEmbedder 的 CLI 演示工具 模型和测试数据。
模型兼容性要求
TextEmbedder API 需要一个具有强制性要求的 TFLite 模型，
TFLite 模型元数据。
支持的模型主要有三种：
基于 BERT 的模型（请参阅 源代码 ）：
恰好 3 个输入张量 (kTfLiteString)
- ID 张量，元数据名称为“ids”，
- Mask 张量，元数据名称为“mask”。
- 片段 ID 张量，元数据名称为“segment_ids”
只有一个输出张量 (kTfLiteUInt8/kTfLiteFloat32)
- 组件对应于
N维度的N输出层的特征向量。 - 可以是 2 个或 4 个维度，即
[1 x N]或[1 x 1 x 1 x N]。
- 组件对应于
Wordpiece/Sentencepiece 分词器的 input_process_units
基于 Universal Sentence Encoder 的模型（请参阅 源代码 ）：
恰好 3 个输入张量 (kTfLiteString)
- 查询文本张量，元数据名称为“inp_text”。
- 元数据名称“res_context”的响应上下文张量。
- 响应文本张量，元数据名称为“res_text”。
恰好 2 个输出张量 (kTfLiteUInt8/kTfLiteFloat32)
- 查询编码张量，元数据名称为“query_encoding”。
- 响应编码张量，元数据名称为“response_encoding”。
- 两者的
N组件均与N尺寸的 输出层的特征向量。 - 两者都具有 2 个或 4 个维度，即
[1 x N]或[1 x 1 x 1 x N]。
具有以下特征的任何文本嵌入器模型：
- 输入文本张量 (kTfLiteString)
至少一个输出嵌入张量 (kTfLiteUInt8/kTfLiteFloat32)
- 组件对应于
N维度N输出层的特征向量。 - 可以是 2 个或 4 个维度，即
[1 x N]或[1 x 1 x 1 x N]。
- 组件对应于