Integrimi i ngulitësve të imazhit

Pajisjet që ngulitin imazhe lejojnë ngulitjen e imazheve në një vektor karakteristikash me dimensione të larta që përfaqëson kuptimin semantik të një imazhi, i cili më pas mund të krahasohet me vektorin e karakteristikave të imazheve të tjera për të vlerësuar ngjashmërinë e tyre semantike.

Në ndryshim nga kërkimi i imazheve , programi i ngulitjes së imazheve lejon llogaritjen e ngjashmërisë midis imazheve menjëherë në vend që të kërkojë përmes një indeksi të paracaktuar të ndërtuar nga një korpus imazhesh.

Përdorni API-n ImageEmbedder të Bibliotekës së Detyrave për të vendosur programin tuaj të personalizuar të ngulitjes së imazheve në aplikacionet tuaja celulare.

Karakteristikat kryesore të API-t ImageEmbedder

• Përpunimi i imazhit hyrës, duke përfshirë rrotullimin, ndryshimin e madhësisë dhe konvertimin e hapësirës së ngjyrave.

• Rajoni i interesit të imazhit të futur.

• Funksion i integruar për të llogaritur ngjashmërinë kosinusale midis vektorëve të karakteristikave.

Modelet e mbështetura të ngulitjes së imazheve

Modelet e mëposhtme garantohen të jenë të pajtueshme me ImageEmbedder API.

• Paraqitni modele vektoriale nga koleksioni Google Image Modules në Kaggle Models .

• Modele të personalizuara që plotësojnë kërkesat e përputhshmërisë së modelit .

Ekzekutoni përfundimin në C++

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

Shih kodin burimor për më shumë opsione për të konfiguruar ImageEmbedder .

Ekzekutoni përfundimin në Python

Hapi 1: Instaloni paketën Pypi të Mbështetjes së TensorFlow Lite.

Mund ta instaloni paketën TensorFlow Lite Support Pypi duke përdorur komandën e mëposhtme:

pip install tflite-support

Hapi 2: Përdorimi i modelit

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

Shih kodin burimor për më shumë opsione për të konfiguruar ImageEmbedder .

Rezultatet e shembujve

Ngjashmëria kosinusale midis vektorëve të normalizuar të karakteristikave kthen një rezultat midis -1 dhe 1. Sa më e lartë aq më mirë, d.m.th., një ngjashmëri kosinusale prej 1 do të thotë që të dy vektorët janë identikë.

Cosine similarity: 0.954312

Provoni mjetin e thjeshtë demo CLI për ImageEmbedder me modelin tuaj dhe të dhënat e testimit.

Kërkesat e përputhshmërisë së modelit

API-ja ImageEmbedder pret një model TFLite me metadata të modelit TFLite , opsionale, por të rekomanduara fuqimisht.

Modelet e përputhshme të ngulitësit të imazheve duhet të plotësojnë kërkesat e mëposhtme:

• Një tensor imazhi hyrës (kTfLiteUInt8/kTfLiteFloat32)

  • madhësia e hyrjes së imazhit [batch x height x width x channels] .
  • Përfundimi i grupit nuk mbështetet ( batch duhet të jetë 1).
  • Mbështeten vetëm hyrjet RGB ( channels duhet të jenë 3).
  • Nëse lloji është kTfLiteFloat32, NormalizationOptions duhet t'i bashkëngjiten meta të dhënave për normalizimin e hyrjes.

• Të paktën një tensor dalës (kTfLiteUInt8/kTfLiteFloat32)

  • me N komponentë që korrespondojnë me N dimensionet e vektorit të karakteristikave të kthyera për këtë shtresë dalëse.
  • Ose 2 ose 4 dimensione, dmth [1 x N] ose [1 x 1 x 1 x N] .