整合圖片嵌入器

圖片嵌入器可將圖片嵌入高維度特徵向量，代表圖片的語意，然後與其他圖片的特徵向量比較，評估語意相似度。

與圖片搜尋不同，圖片嵌入器可即時計算圖片之間的相似度，而非搜尋從圖片語料庫建構的預先定義索引。

使用 Task Library ImageEmbedder API，將自訂圖片嵌入器部署至行動應用程式。

ImageEmbedder API 的主要功能

  • 處理輸入圖片，包括旋轉、調整大小和轉換色彩空間。

  • 輸入圖片的感興趣區域。

  • 內建公用函式，可計算特徵向量之間的餘弦相似度。

支援的圖片嵌入模型

下列機型保證與 ImageEmbedder API 相容。

以 C++ 執行推論

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

如要進一步瞭解如何設定 ImageEmbedder，請參閱原始碼。

在 Python 中執行推論

步驟 1：安裝 TensorFlow Lite 支援 Pypi 套件。

您可以使用下列指令安裝 TensorFlow Lite 支援 Pypi 套件：

pip install tflite-support

步驟 2：使用模型

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

如要進一步瞭解如何設定 ImageEmbedder，請參閱原始碼。

搜尋結果範例

標準化特徵向量之間的餘弦相似度會傳回介於 -1 和 1 之間的分數。值越高越好，也就是說，餘弦相似度為 1 代表兩個向量完全相同。

Cosine similarity: 0.954312

使用自己的模型和測試資料，試用簡單的 ImageEmbedder CLI 示範工具。

模型相容性規定

ImageEmbedder API 預期會收到 TFLite 模型，並強烈建議使用選用的 TFLite 模型中繼資料。

相容的圖片嵌入模型應符合下列規定：

  • 輸入圖片張量 (kTfLiteUInt8/kTfLiteFloat32)

    • 大小為 [batch x height x width x channels] 的圖片輸入內容。
    • 不支援批次推論 (batch 必須為 1)。
    • 僅支援 RGB 輸入 (channels 必須為 3)。
    • 如果類型為 kTfLiteFloat32，則必須將 NormalizationOptions 附加至中繼資料，以進行輸入正規化。

  • 至少一個輸出張量 (kTfLiteUInt8/kTfLiteFloat32)

    • ，其中 N 元件對應於這個輸出層傳回的特徵向量 N 維度。
    • 2 個或 4 個維度，即 [1 x N] 或 [1 x 1 x 1 x N]。