集成文本嵌入器。

文本嵌入器允许将文本嵌入高维特征向量 表示其语义含义,然后可将这些含义与特征 来评估其语义相似度。

文本搜索、 文本嵌入器允许即时计算文本之间的相似度 而不是搜索基于语料库构建的预定义索引。

使用 Task Library TextEmbedder API 将自定义文本嵌入器部署到 您的移动应用

TextEmbedder API 的主要功能

  • 输入文本处理,包括图内或图外 词汇句子 对输入文本进行词元化处理。

  • 用于计算 余弦相似度 特征向量。

支持的文本嵌入器模型

以下模型保证与 TextEmbedder兼容 API。

使用 C++ 运行推理

// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();

// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);

// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector()
    result_2.embeddings[0].feature_vector());

请参阅 源代码 了解用于配置 TextEmbedder 的更多选项。

在 Python 中运行推理

第 1 步:安装 TensorFlow Lite 支持 Pypi 软件包。

您可以使用以下命令安装 TensorFlow Lite Support Pypi 软件包 命令:

pip install tflite-support

第 2 步:使用模型

from tflite_support.task import text

# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)

# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

请参阅 源代码 了解用于配置 TextEmbedder 的更多选项。

示例结果

归一化特征向量之间的余弦相似度会返回 -1 之间的得分 和 1.值越高越好,即余弦相似度为 1 表示两个向量 完全相同。

Cosine similarity: 0.954312

尝试 适用于 TextEmbedder 的 CLI 演示工具 模型和测试数据。

模型兼容性要求

TextEmbedder API 需要一个具有强制性要求的 TFLite 模型, TFLite 模型元数据

支持的模型主要有三种:

  • 基于 BERT 的模型(请参阅 源代码 ):

    • 恰好 3 个输入张量 (kTfLiteString)

      • ID 张量,元数据名称为“ids”,
      • Mask 张量,元数据名称为“mask”。
      • 片段 ID 张量,元数据名称为“segment_ids”
    • 只有一个输出张量 (kTfLiteUInt8/kTfLiteFloat32)

      • 组件对应于N维度N 输出层的特征向量。
      • 可以是 2 个或 4 个维度,即 [1 x N][1 x 1 x 1 x N]
    • Wordpiece/Sentencepiece 分词器的 input_process_units

  • 基于 Universal Sentence Encoder 的模型(请参阅 源代码 ):

    • 恰好 3 个输入张量 (kTfLiteString)

      • 查询文本张量,元数据名称为“inp_text”。
      • 元数据名称“res_context”的响应上下文张量。
      • 响应文本张量,元数据名称为“res_text”。
    • 恰好 2 个输出张量 (kTfLiteUInt8/kTfLiteFloat32)

      • 查询编码张量,元数据名称为“query_encoding”。
      • 响应编码张量,元数据名称为“response_encoding”。
      • 两者的N组件均与N尺寸的 输出层的特征向量。
      • 两者都具有 2 个或 4 个维度,即 [1 x N][1 x 1 x 1 x N]
  • 具有以下特征的任何文本嵌入器模型:

    • 输入文本张量 (kTfLiteString)
    • 至少一个输出嵌入张量 (kTfLiteUInt8/kTfLiteFloat32)

      • 组件对应于N维度N 输出层的特征向量。
      • 可以是 2 个或 4 个维度,即 [1 x N][1 x 1 x 1 x N]