이미지 삽입기 통합

이미지 임베딩을 사용하면 고차원 특성 벡터에 이미지를 삽입할 수 있습니다. 이미지의 시맨틱 의미를 나타내며 다른 이미지의 특성 벡터를 사용하여 시맨틱 유사성을 평가합니다.

반면 이미지 검색 이미지 임베딩을 사용하면 즉석에서 이미지 간 유사성을 계산할 수 있습니다. 사전 정의된 색인을 통해 검색할 수 있습니다.

Task Library ImageEmbedder API를 사용하여 커스텀 이미지 삽입기 배포 확인할 수 있습니다.

ImageEmbedder API의 주요 기능

  • 회전, 크기 조절, 색상 공간을 포함한 입력 이미지 처리 알 수 있습니다.

  • 입력 이미지의 관심 영역입니다.

  • 기본 제공 유틸리티 함수로 코사인 유사성 특성 벡터를 생성합니다.

지원되는 이미지 삽입 모델

다음 모델은 ImageEmbedder과(와) 호환됩니다. API에 액세스할 수 있습니다.

C++에서 추론 실행

// Initialization
ImageEmbedderOptions options:
options.mutable_model_file_with_metadata()->set_file_name(model_path);
options.set_l2_normalize(true);
std::unique_ptr<ImageEmbedder> image_embedder = ImageEmbedder::CreateFromOptions(options).value();

// Create input frame_buffer_1 and frame_buffer_2 from your inputs `image_data1`, `image_data2`, `image_dimension1` and `image_dimension2`.
// See more information here: tensorflow_lite_support/cc/task/vision/utils/frame_buffer_common_utils.h
std::unique_ptr<FrameBuffer> frame_buffer_1 = CreateFromRgbRawBuffer(
      image_data1, image_dimension1);
std::unique_ptr<FrameBuffer> frame_buffer_2 = CreateFromRgbRawBuffer(
      image_data2, image_dimension2);

// Run inference on two images.
const EmbeddingResult result_1 = image_embedder->Embed(*frame_buffer_1);
const EmbeddingResult result_2 = image_embedder->Embed(*frame_buffer_2);

// Compute cosine similarity.
double similarity = ImageEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector(),
    result_2.embeddings[0].feature_vector());

자세한 내용은 소스 코드 ImageEmbedder 구성 옵션을 참조하세요.

Python에서 추론 실행

1단계: TensorFlow Lite 지원 Pypi 패키지 설치

다음을 사용하여 TensorFlow Lite 지원 Pypi 패키지를 설치할 수 있습니다. 명령어:

pip install tflite-support

2단계: 모델 사용

from tflite_support.task import vision

# Initialization.
image_embedder = vision.ImageEmbedder.create_from_file(model_path)

# Run inference on two images.
image_1 = vision.TensorImage.create_from_file('/path/to/image1.jpg')
result_1 = image_embedder.embed(image_1)
image_2 = vision.TensorImage.create_from_file('/path/to/image2.jpg')
result_2 = image_embedder.embed(image_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = image_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

자세한 내용은 소스 코드 ImageEmbedder 구성 옵션을 참조하세요.

결과 예시

정규화된 특성 벡터 간의 코사인 유사성은 -1 사이의 점수를 반환합니다. 1. 높을수록 좋습니다. 즉, 코사인 유사성이 1이면 두 벡터가 동일합니다.

Cosine similarity: 0.954312

간단한 ImageEmbedder용 CLI 데모 도구 모델을 학습시킬 수 있습니다

모델 호환성 요구사항

ImageEmbedder API에는 선택사항이지만 강력하게 포함된 TFLite 모델이 필요합니다. 권장 TFLite 모델 메타데이터.

호환되는 이미지 삽입 모델은 다음 요구사항을 충족해야 합니다.

  • 입력 이미지 텐서 (kTfLiteUInt8/kTfLiteFloat32)

    • 크기가 [batch x height x width x channels]인 이미지 입력
    • 일괄 추론은 지원되지 않습니다 (batch는 1이어야 함).
    • RGB 입력만 지원됩니다 (channels는 3이어야 함).
    • 유형이 kTfLiteFloat32인 경우 NormalizationOptions가 입력 정규화를 위해 메타데이터에 첨부됩니다.

  • 하나 이상의 출력 텐서 (kTfLiteUInt8/kTfLiteFloat32)

    • 반환된 N 측정기준에 해당하는 N 구성요소가 있음 특성 벡터를 생성합니다.
    • 2개 또는 4개의 측정기준(예: [1 x N] 또는 [1 x 1 x 1 x N])