集成图片嵌入器

图片嵌入器可将图片嵌入到表示图片语义含义的高维特征向量中，然后将该向量与其他图片的特征向量进行比较，以评估它们的语义相似度。

与图片搜索不同，图片嵌入器允许实时计算图片之间的相似度，而不是搜索通过图片语料库构建的预定义索引。

使用 Task Library ImageEmbedder API 将自定义图片嵌入器部署到移动应用中。

ImageEmbedder API 的主要功能

  • 输入图像处理，包括旋转、调整大小和颜色空间转换。

  • 输入图片的感兴趣区域。

  • 用于计算特征向量之间余弦相似度的内置实用函数。

支持的图片嵌入器模型

以下型号保证与 ImageEmbedder API 兼容。

在 C++ 中运行推理

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

如需了解更多用于配置 ImageEmbedder 的选项，请参阅源代码。

在 Python 中运行推理

第 1 步：安装 TensorFlow Lite 支持 Pypi 软件包。

您可以使用以下命令安装 TensorFlow Lite 支持 Pypi 软件包：

pip install tflite-support

第 2 步：使用模型

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

如需了解更多用于配置 ImageEmbedder 的选项，请参阅源代码。

示例结果

归一化特征向量之间的余弦相似度会返回介于 -1 和 1 之间的得分。值越高越好，即余弦相似度为 1 表示两个向量完全相同。

Cosine similarity: 0.954312

使用您自己的模型和测试数据，试用简单的 ImageEmbedder CLI 演示工具。

模型兼容性要求

ImageEmbedder API 需要一个 TFLite 模型，该模型包含可选但强烈建议使用的 TFLite 模型元数据。

兼容的图片嵌入模型应满足以下要求：

  • 输入图片张量 (kTfLiteUInt8/kTfLiteFloat32)

    • 大小为 [batch x height x width x channels] 的图片输入。
    • 不支持批量推理（batch 必须为 1）。
    • 仅支持 RGB 输入（channels 必须为 3）。
    • 如果类型为 kTfLiteFloat32，则必须将 NormalizationOptions 附加到元数据以进行输入归一化。

  • 至少一个输出张量 (kTfLiteUInt8/kTfLiteFloat32)

    • 具有 N 个组成部分，对应于此输出层的返回特征向量的 N 个维度。
    • 2 个或 4 个维度，即 [1 x N] 或 [1 x 1 x 1 x N]。