자연어 분류기 통합

작업 라이브러리의 NLClassifier API는 입력 텍스트를 다양한 대부분의 텍스트를 처리할 수 있는 다목적성 및 구성 가능한 API입니다. 분류 모델입니다.

NLClassifier API의 주요 특징

  • 단일 문자열을 입력으로 받아서 해당 문자열로 분류를 수행하고 <label, score="">가 출력됨 분류 결과로 도출됩니다.</label,>

  • 입력 텍스트에 정규식 토큰화(선택사항)를 사용할 수 있습니다.

  • 다양한 분류 모델을 조정하도록 구성 가능합니다.

지원되는 NLClassifier 모델

다음 모델은 NLClassifier과(와) 호환됩니다. API에 액세스할 수 있습니다.

Java에서 추론 실행

자세한 내용은 텍스트 분류 참조를 확인하세요. 앱 Android 앱에서 NLClassifier를 사용하는 방법의 예를 확인하세요.

1단계: Gradle 종속 항목 및 기타 설정 가져오기

.tflite 모델 파일을 Android 모듈의 assets 디렉터리에 복사합니다. 지정할 수도 있습니다 파일을 압축하지 않도록 지정합니다. 모듈의 build.gradle 파일에 TensorFlow Lite 라이브러리를 추가합니다.

android {
    // Other settings

    // Specify tflite file should not be compressed for the app apk
    aaptOptions {
        noCompress "tflite"
    }

}

dependencies {
    // Other dependencies

    // Import the Task Vision Library dependency
    implementation 'org.tensorflow:tensorflow-lite-task-text:0.4.4'
    // Import the GPU delegate plugin Library for GPU inference
    implementation 'org.tensorflow:tensorflow-lite-gpu-delegate-plugin:0.4.4'
}

2단계: API를 사용하여 추론 실행

// Initialization, use NLClassifierOptions to configure input and output tensors
NLClassifierOptions options =
    NLClassifierOptions.builder()
        .setBaseOptions(BaseOptions.builder().useGpu().build())
        .setInputTensorName(INPUT_TENSOR_NAME)
        .setOutputScoreTensorName(OUTPUT_SCORE_TENSOR_NAME)
        .build();
NLClassifier classifier =
    NLClassifier.createFromFileAndOptions(context, modelFile, options);

// Run inference
List<Category> results = classifier.classify(input);

출처 코드 NLClassifier 구성 옵션을 참조하세요.

Swift에서 추론 실행

1단계: CocoaPods 가져오기

Podfile에 TensorFlowLiteTaskText 포드 추가하기

target 'MySwiftAppWithTaskAPI' do
  use_frameworks!
  pod 'TensorFlowLiteTaskText', '~> 0.4.4'
end

2단계: API를 사용하여 추론 실행

// Initialization
var modelOptions:TFLNLClassifierOptions = TFLNLClassifierOptions()
modelOptions.inputTensorName = inputTensorName
modelOptions.outputScoreTensorName = outputScoreTensorName
let nlClassifier = TFLNLClassifier.nlClassifier(
      modelPath: modelPath,
      options: modelOptions)

// Run inference
let categories = nlClassifier.classify(text: input)

출처 코드 를 참조하세요.

C++에서 추론 실행

// Initialization
NLClassifierOptions options;
options.mutable_base_options()->mutable_model_file()->set_file_name(model_path);
std::unique_ptr<NLClassifier> classifier = NLClassifier::CreateFromOptions(options).value();

// Run inference with your input, `input_text`.
std::vector<core::Category> categories = classifier->Classify(input_text);

출처 코드 를 참조하세요.

Python에서 추론 실행

1단계: pip 패키지 설치

pip install tflite-support

2단계: 모델 사용

# Imports
from tflite_support.task import text

# Initialization
classifier = text.NLClassifier.create_from_file(model_path)

# Run inference
text_classification_result = classifier.classify(text)

출처 코드 NLClassifier 구성 옵션을 참조하세요.

결과 예시

다음은 영화 리뷰 및 리뷰'라는 질문 분류 결과의 모델을 참고하세요.

입력: '이런 시간 낭비가 되네요.'

출력:

category[0]: 'Negative' : '0.81313'
category[1]: 'Positive' : '0.18687'

간단한 CLI 데모 도구 NLClassifier 모델을 학습시킬 수 있습니다

모델 호환성 요구사항

NLClassifier API는 사용 사례에 따라 다음을 사용하여 TFLite 모델을 로드할 수 있습니다. (TFLite 모델 메타데이터 없이) 예시 보기 TensorFlow Lite를 사용하여 자연어 분류를 위한 메타데이터 만들기 메타데이터 작성자 API를 참고하세요.

호환되는 모델은 다음 요구사항을 충족해야 합니다.

  • 입력 텐서: (kTfLiteString/kTfLiteInt32)

    • 모델 입력은 kTfLiteString 텐서 원시 입력이어야 합니다. 원시 입력의 정규식 토큰화된 색인을 위한 문자열 또는 kTfLiteInt32 텐서 문자열.
    • 입력 유형이 kTfLiteString인 경우 모델에는 메타데이터가 필요합니다.
    • 입력 유형이 kTfLiteInt32인 경우 RegexTokenizer는 입력 텐서의 메타데이터.

  • 출력 점수 텐서: (kTfLiteUInt8/kTfLiteInt8/kTfLiteInt16/kTfLiteFloat32/kTfLiteFloat64)

    • 분류된 각 카테고리의 점수에 대한 필수 출력 텐서입니다.

    • 유형이 Int 유형 중 하나인 경우 double/float로 비양자화하여 해당 플랫폼

    • 출력 텐서의 카테고리의 해당 메타데이터 라벨이 있는 파일은 한 줄에 하나의 라벨이 있는 일반 텍스트 파일이어야 합니다. 라벨 수는 라벨 수와 일치하는 카테고리 수와 모델 출력을 생성합니다 라벨 예 참조 파일을 참고하세요.

  • 출력 라벨 텐서: (kTfLiteString/kTfLiteInt32)

    • 각 카테고리의 라벨에 대한 선택적 출력 텐서는 출력 점수 텐서와 동일한 길이여야 합니다. 이 텐서가 없으면 API는 점수 색인을 클래스 이름으로 사용합니다.

    • 출력 점수에 연결된 라벨 파일이 있으면 무시됩니다. 텐서의 Metadata를 정의합니다.