LiteRT 연산자 버전

이 문서에서는 LiteRT의 작업 버전 관리 스키마를 설명합니다. 운영 버전 관리 개발자가 기존 작업에 새로운 기능과 매개변수를 추가할 수 있습니다. 또한 다음을 보장합니다.

  • 이전 버전과의 호환성: 새로운 LiteRT 구현은 할 수 있습니다.
  • 향후 호환성: 이전 LiteRT 구현은 새 버전의 변환기에서 생성된 새 모델 파일을 특성이 사용됩니다
  • 호환성 내 향후 감지: 이전 LiteRT 구현 시 작업을 수행할 수 없는 새 버전의 작업이 포함된 새 모델을 오류가 보고됩니다.

예: 깊이별 컨볼루션으로 확장 추가

이 문서의 나머지 부분에서는 다음과 같은 방법을 통해 TFLite의 작업 버전 관리를 설명합니다. 깊이별 컨볼루션 연산에 확장 매개변수를 추가합니다.

확장에 대한 지식이 없어도 이 문서를 이해할 수 있습니다. 참고:

  • 2개의 새로운 정수 매개변수(dilation_width_factor 및 dilation_height_factor
  • 확장을 지원하지 않는 이전 깊이별 컨볼루션 커널은 동일합니다. 1로 설정합니다.

FlatBuffer 스키마 변경

작업에 새 매개변수를 추가하려면 lite/schema/schema.fbs

예를 들어 깊이별 컨볼루션의 옵션 표는 다음과 같습니다.

table DepthwiseConv2DOptions {
  padding:Padding;
  stride_w:int;
  stride_h:int;
  depth_multiplier:int;
  fused_activation_function:ActivationFunctionType;
}

새 매개변수를 추가하는 경우:

  • 버전별 지원 매개변수를 나타내는 주석을 추가합니다.
  • 새 구현이 새로 추가된 이전 구현과 정확히 동일하게 작동합니다.

새 매개변수가 추가되면 표는 다음과 같이 표시됩니다.

table DepthwiseConv2DOptions {
  // Parameters for DepthwiseConv version 1 or above.
  padding:Padding;
  stride_w:int;
  stride_h:int;
  depth_multiplier:int;
  fused_activation_function:ActivationFunctionType;
  // Parameters for DepthwiseConv version 2 or above.
  dilation_w_factor:int = 1;
  dilation_h_factor:int = 1;
}

lite/schema/schema_generated.h 파일을 사용할 수 있습니다

C 구조 및 커널 구현 변경

LiteRT에서 커널 구현은 FlatBuffer에서 분리됩니다. 정의합니다. 커널은 lite/c/builtin_op_data.h

원래의 깊이별 컨볼루션 매개변수는 다음과 같습니다.

typedef struct {
  TfLitePadding padding;
  int stride_width;
  int stride_height;
  int depth_multiplier;
  TfLiteFusedActivation activation;
} TfLiteDepthwiseConvParams;

FlatBuffer 스키마와 마찬가지로 시작할 수 있습니다 결과는 아래와 같습니다.

typedef struct {
  // Parameters for DepthwiseConv version 1 or above.
  TfLitePadding padding;
  int stride_width;
  int stride_height;
  int depth_multiplier;
  TfLiteFusedActivation activation;
  // Parameters for DepthwiseConv version 2 or above.
  int dilation_width_factor;
  int dilation_height_factor;
} TfLiteDepthwiseConvParams;

또한 새로 추가된 매개변수를 읽을 수 있도록 커널 구현을 변경하세요. 분리하려고 합니다. 여기서는 세부정보를 생략합니다.

FlatBuffer 읽기 코드 변경

FlatBuffer를 읽고 C 구조를 생성하는 로직은 lite/core/api/flatbuffer_conversions.cc

아래와 같이 새 매개변수를 처리하도록 파일을 업데이트합니다.

TfLiteStatus ParseDepthwiseConv2D(const Operator* op,
                                  ErrorReporter* error_reporter,
                                  BuiltinDataAllocator* allocator,
                                  void** builtin_data) {
  CheckParsePointerParams(op, error_reporter, allocator, builtin_data);

  SafeBuiltinDataAllocator safe_allocator(allocator);

  std::unique_ptr<TfLiteDepthwiseConvParams,
                  SafeBuiltinDataAllocator::BuiltinDataDeleter>
      params = safe_allocator.Allocate<TfLiteDepthwiseConvParams>();
  TF_LITE_ENSURE(error_reporter, params != nullptr);

  const DepthwiseConv2DOptions* schema_params =
      op->builtin_options_as_DepthwiseConv2DOptions();

  if (schema_params != nullptr) {
    params->padding = ConvertPadding(schema_params->padding());
    params->stride_width = schema_params->stride_w();
    params->stride_height = schema_params->stride_h();
    params->depth_multiplier = schema_params->depth_multiplier();
    params->activation =
        ConvertActivation(schema_params->fused_activation_function());

    params->dilation_width_factor = schema_params->dilation_w_factor();
    params->dilation_height_factor = schema_params->dilation_h_factor();
  }

  *builtin_data = params.release();
  return kTfLiteOk;
}

여기에서는 작업 버전을 확인할 필요가 없습니다. 새 구현이 확장 계수가 누락된 이전 모델 파일을 읽으면 1을 새 커널은 이전 커널과 일관되게 작동합니다.

커널 등록 변경

lite/mutable_op_resolver.h에 정의된 MutableOpResolver는 함수를 사용하여 연산 커널을 등록합니다. 최소 및 최대 버전은 1x 기본값:

void AddBuiltin(tflite::BuiltinOperator op, TfLiteRegistration* registration,
                int min_version = 1, int max_version = 1);
void AddCustom(const char* name, TfLiteRegistration* registration,
               int min_version = 1, int max_version = 1);

기본 제공 작업은 lite/kernels/register.cc에 등록됩니다. 이 예에서 DepthwiseConv2D 버전 1을 처리할 수 있는 새로운 연산 커널을 구현했습니다. 따라서 다음 줄을 변경해야 합니다.

AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D());

다음과 같이 변경합니다.

AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D(),
             /* min_version = */ 1,
             /* max_version = */ 2);

TFLite 작업 버전 변경

다음 단계는 TFLite가 요구사항을 충족하는 데 필요한 최소 버전을 채우도록 하는 것입니다. 작업을 실행합니다 이 예에서 의미는 다음과 같습니다.

  • 확장 계수가 모두 1이면 version=1을 채웁니다.
  • 그렇지 않으면 version=2를 채웁니다.

다음에서 연산자의 GetBuiltinOperatorVersion 함수 수정 케이스에 새 버전을 추가하여 lite/tools/versioning/op_version.cc DepthwiseConv2D:

case BuiltinOperator_DEPTHWISE_CONV_2D:
  auto depthwise_conv_params =
      reinterpret_cast<TfLiteDepthwiseConvParams*>(op_sig.builtin_data);
  TFLITE_DCHECK(depthwise_conv_params != nullptr);
  if (depthwise_conv_params->dilation_width_factor != 1 ||
       depthwise_conv_params->dilation_height_factor != 1) {
    return 2;
  }
  return 1;

연산자 버전 맵 업데이트

마지막 단계는 연산자 버전 맵에 새 버전 정보를 추가하는 것입니다. 이 모델이 필요한 최소 요구 사항부터 이 버전 맵을 기반으로 하는 런타임 버전입니다.

이렇게 하려면 새로운 지도 항목을 lite/tools/versioning/runtime_version.cc

이 예에서는 op_version_map에 다음 항목을 추가해야 합니다.

{ {BuiltinOperator_DEPTHWISE_CONV_2D, 2}, %CURRENT_RUNTIME_VERSION%}

여기서 %CURRENT_RUNTIME_VERSION%은 현재 런타임 버전에 해당합니다. tensorflow/core/public/version.h에 정의되어 있습니다.

위임 구현

LiteRT는 다음 사용자에게 작업을 위임할 수 있는 위임 API를 제공합니다. 사용할 수 있습니다 위임의 Prepare 함수에서 버전이 모든 노드에서 지원됨

const int kMaxVersion = 1;
TfLiteNode* node;
TfLiteRegistration* registration = nullptr;
TF_LITE_ENSURE_STATUS(context->GetNodeAndRegistration(context, node_index, &node, &registration));

if (registration->version > kMaxVersion) {
  // Reject the node if the version isn't supported.
}

이는 위임이 버전 1 작업만 지원하는 경우에도 필요합니다. 따라서 위임은 더 높은 버전 작업을 얻을 때 비호환성을 감지할 수 있습니다.