텍스트 임베딩을 통합합니다.

텍스트 임베딩을 사용하면 고차원 특성 벡터에 텍스트를 임베딩할 수 있습니다. 시맨틱 의미를 나타내는데, 이를 특성과 비교할 수 있습니다 의미론적 유사성을 평가합니다.

반면 텍스트 검색 텍스트 삽입을 사용하면 즉시 텍스트 간 유사성을 계산할 수 있습니다. 사전 정의된 색인을 통해 검색하는 대신

Task Library TextEmbedder API를 사용하여 커스텀 텍스트 임베딩을 있습니다.

TextEmbedder API의 주요 기능

  • 인 그래프 또는 그래프 외부를 포함한 입력 텍스트 처리 워드피스 또는 문장 토큰화에 대해 살펴봤습니다

  • 기본 제공 유틸리티 함수로 코사인 유사성 특성 벡터를 생성합니다.

지원되는 텍스트 삽입 모델

다음 모델은 TextEmbedder과(와) 호환됩니다. API에 액세스할 수 있습니다.

C++에서 추론 실행

// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();

// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);

// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector()
    result_2.embeddings[0].feature_vector());

자세한 내용은 소스 코드 TextEmbedder 구성 옵션을 참조하세요.

Python에서 추론 실행

1단계: TensorFlow Lite 지원 Pypi 패키지 설치

다음을 사용하여 TensorFlow Lite 지원 Pypi 패키지를 설치할 수 있습니다. 명령어:

pip install tflite-support

2단계: 모델 사용

from tflite_support.task import text

# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)

# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

자세한 내용은 소스 코드 TextEmbedder 구성 옵션을 참조하세요.

결과 예시

정규화된 특성 벡터 간의 코사인 유사성은 -1 사이의 점수를 반환합니다. 1. 높을수록 좋습니다. 즉, 코사인 유사성이 1이면 두 벡터가 동일합니다.

Cosine similarity: 0.954312

간단한 TextEmbedder용 CLI 데모 도구 모델을 학습시킬 수 있습니다

모델 호환성 요구사항

TextEmbedder API에는 필수가 포함된 TFLite 모델이 필요합니다. TFLite 모델 메타데이터.

다음과 같은 세 가지 기본 유형의 모델이 지원됩니다.

  • BERT 기반 모델( 소스 코드 참조하세요.

    • 정확히 3개의 입력 텐서 (kTfLiteString)

      • 메타데이터 이름이 'ids'인 ID 텐서,
      • 메타데이터 이름이 'mask'인 마스크 텐서.
      • 세그먼트 ID 텐서, 메타데이터 이름 'segment_ids'

    • 정확히 하나의 출력 텐서 (kTfLiteUInt8/kTfLiteFloat32)

      • N 측정기준에 해당하는 N 구성요소가 이 출력 레이어에 대한 특성 벡터를 반환합니다.
      • 2개 또는 4개의 측정기준(예: [1 x N] 또는 [1 x 1 x 1 x N])

    • Word피스/Sentence피스 토큰나이저의 input_process_units

  • Universal Sentence Encoder 기반 모델( 소스 코드 참조하세요.

    • 정확히 3개의 입력 텐서 (kTfLiteString)

      • 메타데이터 이름이 'inp_text'인 쿼리 텍스트 텐서
      • 응답 컨텍스트 텐서, 메타데이터 이름 'res_context'
      • 메타데이터 이름이 'res_text'인 응답 텍스트 텐서.

    • 정확히 2개의 출력 텐서 (kTfLiteUInt8/kTfLiteFloat32)

      • 메타데이터 이름이 'query_encoding'인 쿼리 인코딩 텐서입니다.
      • 메타데이터 이름이 'response_encoding'인 응답 인코딩 텐서입니다.
      • 둘 다 N 측정기준에 해당하는 N 구성요소를 보유함 이 출력 레이어에 대한 특성 벡터를 반환합니다.
      • 둘 다 2개 또는 4개의 측정기준([1 x N] 또는 [1 x 1 x 1 x N])을 사용합니다.

  • 다음을 포함하는 모든 텍스트 삽입 모델:

    • 입력 텍스트 텐서 (kTfLiteString)

    • 1개 이상의 출력 임베딩 텐서 (kTfLiteUInt8/kTfLiteFloat32)

      • N 측정기준에 해당하는 N 구성요소가 이 출력 레이어에 대한 특성 벡터를 반환합니다.
      • 2개 또는 4개의 측정기준(예: [1 x N] 또는 [1 x 1 x 1 x N])