텍스트 임베딩을 통합합니다.

텍스트 임베더를 사용하면 텍스트를 의미론적 의미를 나타내는 고차원 특징 벡터에 삽입할 수 있으며, 이 벡터를 다른 텍스트의 특징 벡터와 비교하여 의미론적 유사성을 평가할 수 있습니다.

텍스트 검색과 달리 텍스트 임베더를 사용하면 코퍼스에서 빌드된 사전 정의된 색인을 검색하는 대신 텍스트 간 유사성을 즉석에서 계산할 수 있습니다.

태스크 라이브러리 TextEmbedder API를 사용하여 맞춤 텍스트 삽입기를 모바일 앱에 배포합니다.

TextEmbedder API의 주요 기능

  • 입력 텍스트에 대한 그래프 내 또는 그래프 외 Wordpiece 또는 Sentencepiece 토큰화를 비롯한 입력 텍스트 처리

  • 특성 벡터 간의 코사인 유사성을 계산하는 기본 제공 유틸리티 함수입니다.

지원되는 텍스트 임베더 모델

다음 모델은 TextEmbedder API와 호환됩니다.

C++에서 추론 실행

// Initialization.
TextEmbedderOptions options:
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<TextEmbedder> text_embedder = TextEmbedder::CreateFromOptions(options).value();

// Run inference with your two inputs, `input_text1` and `input_text2`.
const EmbeddingResult result_1 = text_embedder->Embed(input_text1);
const EmbeddingResult result_2 = text_embedder->Embed(input_text2);

// Compute cosine similarity.
double similarity = TextEmbedder::CosineSimilarity(
    result_1.embeddings[0].feature_vector()
    result_2.embeddings[0].feature_vector());

TextEmbedder를 구성하는 추가 옵션은 소스 코드를 참고하세요.

Python에서 추론 실행

1단계: TensorFlow Lite 지원 Pypi 패키지를 설치합니다.

다음 명령어를 사용하여 TensorFlow Lite 지원 Pypi 패키지를 설치할 수 있습니다.

pip install tflite-support

2단계: 모델 사용

from tflite_support.task import text

# Initialization.
text_embedder = text.TextEmbedder.create_from_file(model_path)

# Run inference on two texts.
result_1 = text_embedder.embed(text_1)
result_2 = text_embedder.embed(text_2)

# Compute cosine similarity.
feature_vector_1 = result_1.embeddings[0].feature_vector
feature_vector_2 = result_2.embeddings[0].feature_vector
similarity = text_embedder.cosine_similarity(
    result_1.embeddings[0].feature_vector, result_2.embeddings[0].feature_vector)

TextEmbedder를 구성하는 추가 옵션은 소스 코드를 참고하세요.

결과 예시

정규화된 특징 벡터 간의 코사인 유사성은 -1과 1 사이의 점수를 반환합니다. 값이 높을수록 좋습니다. 즉, 코사인 유사성이 1이면 두 벡터가 동일하다는 의미입니다.

Cosine similarity: 0.954312

자체 모델과 테스트 데이터로 간단한 TextEmbedder용 CLI 데모 도구를 사용해 보세요.

모델 호환성 요구사항

TextEmbedder API는 필수 TFLite 모델 메타데이터가 있는 TFLite 모델을 예상합니다.

세 가지 주요 모델 유형이 지원됩니다.

  • BERT 기반 모델 (자세한 내용은 소스 코드 참고):

    • 정확히 3개의 입력 텐서 (kTfLiteString)

    • 메타데이터 이름이 'ids'인 ID 텐서

    • 메타데이터 이름이 'mask'인 마스크 텐서입니다.

    • 메타데이터 이름이 'segment_ids'인 세그먼트 ID 텐서

    • 정확히 하나의 출력 텐서 (kTfLiteUInt8/kTfLiteFloat32)

    • 이 출력 레이어에 대해 반환된 특징 벡터의 N 측정기준에 해당하는 N 구성요소

    • [1 x N] 또는 [1 x 1 x 1 x N]와 같이 2개 또는 4개의 측정기준

    • Wordpiece/Sentencepiece 토큰화 도구의 input_process_units

  • Universal Sentence Encoder 기반 모델 (자세한 내용은 소스 코드 참고):

    • 정확히 3개의 입력 텐서 (kTfLiteString)

    • 메타데이터 이름이 'inp_text'인 텍스트 텐서를 쿼리합니다.

    • 메타데이터 이름이 'res_context'인 응답 컨텍스트 텐서입니다.

    • 메타데이터 이름이 'res_text'인 대답 텍스트 텐서입니다.

    • 정확히 2개의 출력 텐서 (kTfLiteUInt8/kTfLiteFloat32)

    • 메타데이터 이름이 'query_encoding'인 쿼리 인코딩 텐서입니다.

    • 메타데이터 이름이 'response_encoding'인 응답 인코딩 텐서입니다.

    • 둘 다 이 출력 레이어에 대해 반환된 특징 벡터의 N 차원에 해당하는 N 구성요소를 사용합니다.

    • 각각 2개 또는 4개의 측정기준([1 x N] 또는 [1 x 1 x 1 x N])

  • 다음과 같은 텍스트 임베더 모델:

    • 입력 텍스트 텐서 (kTfLiteString)

    • 하나 이상의 출력 임베딩 텐서 (kTfLiteUInt8/kTfLiteFloat32)

    • 이 출력 레이어에 대해 반환된 특징 벡터의 N 측정기준에 해당하는 N 구성요소

    • [1 x N] 또는 [1 x 1 x 1 x N]와 같이 2개 또는 4개의 측정기준