เวอร์ชันโอเปอเรเตอร์ LiteRT

เอกสารนี้อธิบายสคีมาการกำหนดเวอร์ชันการดำเนินการของ LiteRT การกำหนดเวอร์ชันของการดำเนินการ ช่วยให้นักพัฒนาแอปเพิ่มฟังก์ชันการทำงานและพารามิเตอร์ใหม่ลงในการดำเนินการที่มีอยู่ได้ นอกจากนี้ ยังรับประกันสิ่งต่อไปนี้ด้วย

• ความเข้ากันได้แบบย้อนหลัง: การติดตั้งใช้งาน LiteRT เวอร์ชันใหม่ควรจัดการไฟล์โมเดลเก่าได้
• ความเข้ากันได้แบบย้อนหลัง: การใช้งาน LiteRT เวอร์ชันเก่าควรจัดการไฟล์โมเดลใหม่ที่สร้างโดยเครื่องมือแปลงเวอร์ชันใหม่ ตราบใดที่ไม่ได้ใช้ฟีเจอร์ใหม่
• การตรวจหาความเข้ากันได้แบบย้อนหลัง: หากการติดตั้งใช้งาน LiteRT เวอร์ชันเก่าอ่านโมเดลใหม่ที่มีการดำเนินการเวอร์ชันใหม่ที่ไม่รองรับ ระบบควรรายงานข้อผิดพลาด

ตัวอย่าง: การเพิ่มการขยายลงใน ConvNet แบบแยกแยะระดับความลึก

ส่วนที่เหลือของเอกสารนี้จะอธิบายการกำหนดเวอร์ชันการดำเนินการใน TFLite โดยแสดงวิธีเพิ่มพารามิเตอร์การขยายไปยังการดำเนินการ ConvNet แบบความลึก

คุณไม่จำเป็นต้องมีความรู้เรื่องการขยายเวลาเพื่อที่จะเข้าใจเอกสารนี้ โปรดทราบว่า

• ระบบจะเพิ่มพารามิเตอร์จำนวนเต็มใหม่ 2 รายการ ได้แก่ dilation_width_factor และ dilation_height_factor
• กรวยเชิงลึกแบบเก่าที่ไม่รองรับการขยายจะเทียบเท่ากับการตั้งค่าปัจจัยการขยายเป็น 1

เปลี่ยนสคีมา FlatBuffer

หากต้องการเพิ่มพารามิเตอร์ใหม่ลงในการดำเนินการ ให้เปลี่ยนตารางตัวเลือกใน lite/schema/schema.fbs

ตัวอย่างเช่น ตารางตัวเลือกของ ConvNet แบบแยกแยะความลึกจะมีลักษณะดังนี้

table DepthwiseConv2DOptions {
  padding:Padding;
  stride_w:int;
  stride_h:int;
  depth_multiplier:int;
  fused_activation_function:ActivationFunctionType;
}

เมื่อเพิ่มพารามิเตอร์ใหม่

• เพิ่มความคิดเห็นที่ระบุพารามิเตอร์ที่รองรับในแต่ละเวอร์ชัน
• เมื่อการติดตั้งใช้งานใหม่ได้รับค่าเริ่มต้นสําหรับพารามิเตอร์ที่เพิ่มใหม่ การติดตั้งใช้งานควรทํางานเหมือนกับการติดตั้งใช้งานแบบเก่าทุกประการ

ตารางจะมีลักษณะดังนี้หลังจากเพิ่มพารามิเตอร์ใหม่

table DepthwiseConv2DOptions {
  // Parameters for DepthwiseConv version 1 or above.
  padding:Padding;
  stride_w:int;
  stride_h:int;
  depth_multiplier:int;
  fused_activation_function:ActivationFunctionType;
  // Parameters for DepthwiseConv version 2 or above.
  dilation_w_factor:int = 1;
  dilation_h_factor:int = 1;
}

คุณควรสร้างไฟล์ lite/schema/schema_generated.h อีกครั้งสำหรับสคีมาใหม่

เปลี่ยนโครงสร้าง C และการใช้งานเคอร์เนล

ใน LiteRT การใช้งานเคอร์เนลจะแยกออกจากคําจํากัดความของ FlatBuffer เคอร์เนลจะอ่านพารามิเตอร์จากโครงสร้าง C ที่กําหนดไว้ใน lite/c/builtin_op_data.h

พารามิเตอร์ ConvNet แบบความลึกเดิมมีดังนี้

typedef struct {
  TfLitePadding padding;
  int stride_width;
  int stride_height;
  int depth_multiplier;
  TfLiteFusedActivation activation;
} TfLiteDepthwiseConvParams;

เช่นเดียวกับสคีมา FlatBuffer ให้เพิ่มความคิดเห็นที่ระบุพารามิเตอร์ที่รองรับตั้งแต่เวอร์ชันใด ผลลัพธ์จะแสดงอยู่ด้านล่าง

typedef struct {
  // Parameters for DepthwiseConv version 1 or above.
  TfLitePadding padding;
  int stride_width;
  int stride_height;
  int depth_multiplier;
  TfLiteFusedActivation activation;
  // Parameters for DepthwiseConv version 2 or above.
  int dilation_width_factor;
  int dilation_height_factor;
} TfLiteDepthwiseConvParams;

โปรดเปลี่ยนการใช้งานเคอร์เนลเพื่ออ่านพารามิเตอร์ที่เพิ่มใหม่จากโครงสร้าง C ด้วย เราจะไม่ลงรายละเอียดในบทความนี้

เปลี่ยนโค้ดการอ่าน FlatBuffer

ตรรกะในการอ่าน FlatBuffer และสร้างโครงสร้าง C อยู่ใน lite/core/api/flatbuffer_conversions.cc

อัปเดตไฟล์ให้จัดการพารามิเตอร์ใหม่ดังที่แสดงด้านล่าง

TfLiteStatus ParseDepthwiseConv2D(const Operator* op,
                                  ErrorReporter* error_reporter,
                                  BuiltinDataAllocator* allocator,
                                  void** builtin_data) {
  CheckParsePointerParams(op, error_reporter, allocator, builtin_data);

  SafeBuiltinDataAllocator safe_allocator(allocator);

  std::unique_ptr<TfLiteDepthwiseConvParams,
                  SafeBuiltinDataAllocator::BuiltinDataDeleter>
      params = safe_allocator.Allocate<TfLiteDepthwiseConvParams>();
  TF_LITE_ENSURE(error_reporter, params != nullptr);

  const DepthwiseConv2DOptions* schema_params =
      op->builtin_options_as_DepthwiseConv2DOptions();

  if (schema_params != nullptr) {
    params->padding = ConvertPadding(schema_params->padding());
    params->stride_width = schema_params->stride_w();
    params->stride_height = schema_params->stride_h();
    params->depth_multiplier = schema_params->depth_multiplier();
    params->activation =
        ConvertActivation(schema_params->fused_activation_function());

    params->dilation_width_factor = schema_params->dilation_w_factor();
    params->dilation_height_factor = schema_params->dilation_h_factor();
  }

  *builtin_data = params.release();
  return kTfLiteOk;
}

คุณไม่จำเป็นต้องตรวจสอบเวอร์ชันของอุปกรณ์ต่อพ่วงที่นี่ เมื่อการติดตั้งใช้งานแบบใหม่อ่านไฟล์โมเดลเก่าที่ไม่มีปัจจัยการขยาย จะใช้ 1 เป็นค่าเริ่มต้น และเคอร์เนลใหม่จะทํางานร่วมกับเคอร์เนลเก่าได้อย่างสอดคล้องกัน

เปลี่ยนการลงทะเบียนเคอร์เนล

MutableOpResolver (ที่กําหนดไว้ใน lite/mutable_op_resolver.h) มีฟังก์ชัน 2-3 รายการสําหรับลงทะเบียนเคอร์เนลการดำเนินการ เวอร์ชันขั้นต่ำและสูงสุดคือ 1 โดยค่าเริ่มต้น

void AddBuiltin(tflite::BuiltinOperator op, TfLiteRegistration* registration,
                int min_version = 1, int max_version = 1);
void AddCustom(const char* name, TfLiteRegistration* registration,
               int min_version = 1, int max_version = 1);

ระบบจะลงทะเบียนการดำเนินการในตัวใน lite/kernels/register.cc ในตัวอย่างนี้ เราติดตั้งใช้งานเคอร์เนลการดำเนินการแบบใหม่ที่จัดการ DepthwiseConv2D เวอร์ชัน 1 และ 2 ได้ จึงต้องเปลี่ยนบรรทัดนี้

AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D());

ถึง:

AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D(),
             /* min_version = */ 1,
             /* max_version = */ 2);

เปลี่ยนเวอร์ชัน TFLite op

ขั้นตอนถัดไปคือทำให้ TFLite สร้างเวอร์ชันขั้นต่ำที่จําเป็นต่อการดําเนินการ ในตัวอย่างนี้ หมายความว่า

• ป้อนข้อมูล version=1 เมื่อปัจจัยการขยายทั้งหมดเท่ากับ 1
• ป้อนข้อมูล version=2 ในกรณีอื่นๆ

แก้ไขฟังก์ชัน GetBuiltinOperatorVersion สำหรับโอเปอเรเตอร์ใน lite/tools/versioning/op_version.cc โดยเพิ่มเวอร์ชันใหม่ลงในเคสของ DepthwiseConv2D

case BuiltinOperator_DEPTHWISE_CONV_2D:
  auto depthwise_conv_params =
      reinterpret_cast<TfLiteDepthwiseConvParams*>(op_sig.builtin_data);
  TFLITE_DCHECK(depthwise_conv_params != nullptr);
  if (depthwise_conv_params->dilation_width_factor != 1 ||
       depthwise_conv_params->dilation_height_factor != 1) {
    return 2;
  }
  return 1;

อัปเดตแผนที่เวอร์ชันของผู้ให้บริการ

ขั้นตอนสุดท้ายคือเพิ่มข้อมูลเวอร์ชันใหม่ลงในแผนที่เวอร์ชันของผู้ให้บริการ ขั้นตอนนี้จําเป็นเนื่องจากเราต้องสร้างเวอร์ชันรันไทม์ที่จําเป็นขั้นต่ำของโมเดลตามแผนที่เวอร์ชันนี้

โดยจะต้องเพิ่มรายการแผนที่ใหม่ใน lite/tools/versioning/runtime_version.cc

ในตัวอย่างนี้ คุณต้องเพิ่มรายการต่อไปนี้ลงใน op_version_map

{ {BuiltinOperator_DEPTHWISE_CONV_2D, 2}, %CURRENT_RUNTIME_VERSION%}

โดยที่ %CURRENT_RUNTIME_VERSION% สอดคล้องกับเวอร์ชันรันไทม์ปัจจุบันที่ระบุไว้ใน release_version.h

การใช้งานการมอบสิทธิ์

LiteRT มี API การมอบสิทธิ์ซึ่งช่วยให้มอบสิทธิ์การดำเนินการให้กับแบ็กเอนด์ฮาร์ดแวร์ได้ ในฟังก์ชัน Prepare ของผู้รับมอบสิทธิ์ ให้ตรวจสอบว่าระบบรองรับเวอร์ชันสำหรับโหนดทุกโหนดในโค้ดการมอบสิทธิ์หรือไม่

const int kMaxVersion = 1;
TfLiteNode* node;
TfLiteRegistration* registration = nullptr;
TF_LITE_ENSURE_STATUS(context->GetNodeAndRegistration(context, node_index, &node, &registration));

if (registration->version > kMaxVersion) {
  // Reject the node if the version isn't supported.
}

ซึ่งจำเป็นต้องทำแม้ว่าการมอบสิทธิ์จะรองรับเฉพาะการดําเนินการเวอร์ชัน 1 เท่านั้น เพื่อให้การมอบสิทธิ์ตรวจหาความเข้ากันไม่ได้เมื่อได้รับการดำเนินการเวอร์ชันที่สูงกว่า