LiteRT のご紹介: Google のオンデバイス AI 用の高性能ランタイム（旧称 TensorFlow Lite）です。

このページは Cloud Translation API によって翻訳されました。

LiteRT オペレーターのバージョン

このドキュメントでは、LiteRT のオペレーションバージョニングスキーマについて説明します。演算のバージョニングを使用すると、デベロッパーは既存の op に新しい機能とパラメータを追加できます。さらに、次のことが保証されます。

下位互換性: 新しい LiteRT 実装では、表示されます。
上位互換性: 以前の LiteRT 実装では、コンバータの新しいバージョンによって生成された新しいモデルファイル使用されます。
上位互換性の検出: 古い LiteRT 実装の場合古い op の新しいバージョンを含む新しいモデルをエラーが報告されます。

例: 深度畳み込みに拡張を追加する

このドキュメントの残りの部分では、TFLite でのオペレーションのバージョニングについて説明します。深さごとの畳み込み演算に拡張パラメータを追加します。

拡張の知識は必要ありません。次のことに注意してください。

2 つの新しい整数パラメータ、dilation_width_factor と dilation_height_factor。
拡張をサポートしていない古い深さごとの畳み込みカーネルは同等です。 1 に設定しています

FlatBuffer スキーマを変更する

新しいパラメータを演算に追加するには、 lite/schema/schema.fbs。

たとえば、深度畳み込みのオプションテーブルは次のようになります。

table DepthwiseConv2DOptions {
  padding:Padding;
  stride_w:int;
  stride_h:int;
  depth_multiplier:int;
  fused_activation_function:ActivationFunctionType;
}

新しいパラメータを追加する場合:

どのパラメータがどのバージョンでサポートされているかを示すコメントを追加します。
新しい実装が、新しく追加されたデフォルト値を取得するとき古い実装とまったく同じように動作するはずです。

新しいパラメータを追加すると、テーブルは次のようになります。

table DepthwiseConv2DOptions {
  // Parameters for DepthwiseConv version 1 or above.
  padding:Padding;
  stride_w:int;
  stride_h:int;
  depth_multiplier:int;
  fused_activation_function:ActivationFunctionType;
  // Parameters for DepthwiseConv version 2 or above.
  dilation_w_factor:int = 1;
  dilation_h_factor:int = 1;
}

ファイル lite/schema/schema_generated.h は、新しい説明します。

C 構造とカーネル実装を変更する

LiteRT では、カーネル実装が FlatBuffer から分離されている定義します。カーネルは、 lite/c/builtin_op_data.h。

元の深度畳み込みパラメータは次のとおりです。

typedef struct {
  TfLitePadding padding;
  int stride_width;
  int stride_height;
  int depth_multiplier;
  TfLiteFusedActivation activation;
} TfLiteDepthwiseConvParams;

FlatBuffer スキーマと同様に、どのパラメータがサポートされます。結果は次のようになります。

typedef struct {
  // Parameters for DepthwiseConv version 1 or above.
  TfLitePadding padding;
  int stride_width;
  int stride_height;
  int depth_multiplier;
  TfLiteFusedActivation activation;
  // Parameters for DepthwiseConv version 2 or above.
  int dilation_width_factor;
  int dilation_height_factor;
} TfLiteDepthwiseConvParams;

また、カーネルの実装を変更して、新しく追加されたパラメータを読み取るようにしてください。取得されます。ここでは詳細を省略します。

FlatBuffer の読み取りコードを変更する

FlatBuffer を読み取り、C 構造体を生成するロジックは、 lite/core/api/flatbuffer_conversions.cc。

次のように、新しいパラメータを処理するようにファイルを更新します。

TfLiteStatus ParseDepthwiseConv2D(const Operator* op,
                                  ErrorReporter* error_reporter,
                                  BuiltinDataAllocator* allocator,
                                  void** builtin_data) {
  CheckParsePointerParams(op, error_reporter, allocator, builtin_data);

  SafeBuiltinDataAllocator safe_allocator(allocator);

  std::unique_ptr<TfLiteDepthwiseConvParams,
                  SafeBuiltinDataAllocator::BuiltinDataDeleter>
      params = safe_allocator.Allocate<TfLiteDepthwiseConvParams>();
  TF_LITE_ENSURE(error_reporter, params != nullptr);

  const DepthwiseConv2DOptions* schema_params =
      op->builtin_options_as_DepthwiseConv2DOptions();

  if (schema_params != nullptr) {
    params->padding = ConvertPadding(schema_params->padding());
    params->stride_width = schema_params->stride_w();
    params->stride_height = schema_params->stride_h();
    params->depth_multiplier = schema_params->depth_multiplier();
    params->activation =
        ConvertActivation(schema_params->fused_activation_function());

    params->dilation_width_factor = schema_params->dilation_w_factor();
    params->dilation_height_factor = schema_params->dilation_h_factor();
  }

  *builtin_data = params.release();
  return kTfLiteOk;
}

ここでオペレーションバージョンを確認する必要はありません。新しい実装がは、拡張係数がない古いモデルファイルを読み取り、新しいカーネルは古いカーネルと一貫して動作するようになります。

カーネル登録を変更する

MutableOpResolver（lite/mutable_op_resolver.h で定義）には、いくつかの機能が用意されています。使用して op カーネルを登録します。最小バージョンと最大バージョンは 1 個ずつ default:

void AddBuiltin(tflite::BuiltinOperator op, TfLiteRegistration* registration,
                int min_version = 1, int max_version = 1);
void AddCustom(const char* name, TfLiteRegistration* registration,
               int min_version = 1, int max_version = 1);

組み込み演算は lite/kernels/register.cc に登録されます。この例では DepthwiseConv2D バージョン 1 を処理できる新しい op カーネルを実装し、 2 番目なので、次の行を変更します。

AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D());

これを、次のように変更します。

AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D(),
             /* min_version = */ 1,
             /* max_version = */ 2);

TFLite オペレーションバージョンの変更

次のステップでは、動作に必要な最小バージョンを TFLite に取り込みます。演算を実行します。この例では、次のようになります。

拡張係数がすべて 1 の場合は、version=1 を入力します。
それ以外の場合は version=2 を入力します。

次の演算子の GetBuiltinOperatorVersion 関数を変更します: lite/tools/versioning/op_version.cc のケースに新しいバージョンを追加します。 DepthwiseConv2D:

case BuiltinOperator_DEPTHWISE_CONV_2D:
  auto depthwise_conv_params =
      reinterpret_cast<TfLiteDepthwiseConvParams*>(op_sig.builtin_data);
  TFLITE_DCHECK(depthwise_conv_params != nullptr);
  if (depthwise_conv_params->dilation_width_factor != 1 ||
       depthwise_conv_params->dilation_height_factor != 1) {
    return 2;
  }
  return 1;

オペレーターのバージョンマップを更新する

最後のステップとして、新しいバージョン情報をオペレーターのバージョンマップに追加します。このステップが必要です。これは、モデルに必要な最小限のランタイムバージョンを指定します。

これを行うには、新しいマップエントリを lite/tools/versioning/runtime_version.cc。

この例では、次のエントリを op_version_map に追加する必要があります。

{ {BuiltinOperator_DEPTHWISE_CONV_2D, 2}, %CURRENT_RUNTIME_VERSION%}

ここで、%CURRENT_RUNTIME_VERSION% は現在のランタイムバージョンに対応します。 tensorflow/core/public/version.h で定義する

委任の実装

LiteRT では、オペレーションの委任を可能にする委任 API が用意されています。通信できます。デリゲートの Prepare 関数で、バージョンが次の状態かどうかを確認します。すべてのノードでサポートされています。

const int kMaxVersion = 1;
TfLiteNode* node;
TfLiteRegistration* registration = nullptr;
TF_LITE_ENSURE_STATUS(context->GetNodeAndRegistration(context, node_index, &node, &registration));

if (registration->version > kMaxVersion) {
  // Reject the node if the version isn't supported.
}

これは、委任がバージョン 1 オペレーションのみをサポートしている場合でも必須であるため、より高いバージョンのオペレーションを取得する際に委任により非互換性を検出できる