เอกสารนี้อธิบายสคีมาการกำหนดเวอร์ชัน op ของ TensorFlow Lite การกำหนดเวอร์ชัน Op ช่วยให้นักพัฒนาซอฟต์แวร์เพิ่มฟังก์ชันและพารามิเตอร์ใหม่ลงในการดำเนินการที่มีอยู่ได้ นอกจากนี้ยังมีการรับประกันดังต่อไปนี้
- ความเข้ากันได้แบบย้อนหลัง: การใช้งาน TensorFlow Lite ใหม่ควรรองรับไฟล์โมเดลเก่า
- ความเข้ากันได้ในอนาคต: การใช้งาน TensorFlow Lite แบบเก่าควรจัดการกับไฟล์โมเดลใหม่ที่สร้างโดยตัวแปลงเวอร์ชันใหม่ตราบใดที่ไม่มีฟีเจอร์ใหม่ๆ เกิดขึ้น
- ส่งต่อการตรวจจับความเข้ากันได้: หากการใช้งาน TensorFlow Lite เวอร์ชันเก่าอ่านโมเดลใหม่ที่มีตัวเลือกเวอร์ชันใหม่ซึ่งระบบไม่รองรับ ก็ควรรายงานข้อผิดพลาดดังกล่าว
ตัวอย่าง: การเพิ่มการขยายไปสู่คอนโวลูชันระดับลึก (Deepwise Convolution)
ส่วนที่เหลือของเอกสารนี้อธิบายการกำหนดเวอร์ชันการดำเนินการใน TFLite ด้วยการแสดงวิธีเพิ่มพารามิเตอร์การขยายไปยังการดำเนินการคอนโวลูชันแบบเจาะลึก
ไม่จำเป็นต้องมีความรู้เกี่ยวกับการขยายตัวเพื่อที่จะทำความเข้าใจเอกสารนี้ ข้อควรทราบมีดังนี้
- ระบบจะเพิ่มพารามิเตอร์จำนวนเต็มใหม่ 2 รายการ ได้แก่
dilation_width_factor
และdilation_height_factor
- เคอร์เนลคอนโวลูชันแบบ deeplink แบบเจาะลึกซึ่งไม่รองรับการขยายเทียบเท่ากับการตั้งค่าปัจจัยการขยายเป็น 1
เปลี่ยนสคีมา FlatBuffer
หากต้องการเพิ่มพารามิเตอร์ใหม่ไปยังการดำเนินการ ให้เปลี่ยนตารางตัวเลือกใน lite/schema/schema.fbs
ตัวอย่างเช่น ตารางตัวเลือกของคอนโวลูชันแบบเจาะลึกจะมีลักษณะดังนี้
table DepthwiseConv2DOptions {
padding:Padding;
stride_w:int;
stride_h:int;
depth_multiplier:int;
fused_activation_function:ActivationFunctionType;
}
เมื่อเพิ่มพารามิเตอร์ใหม่
- เพิ่มความคิดเห็นที่ระบุว่าพารามิเตอร์ใดรองรับพารามิเตอร์ใด
- เมื่อการติดตั้งใหม่ได้รับค่าเริ่มต้นสำหรับพารามิเตอร์ที่เพิ่มเข้ามาใหม่ การดำเนินการดังกล่าวควรทำงานตามวิธีการใช้งานเดิมทุกประการ
ตารางจะมีลักษณะดังนี้หลังจากเพิ่มพารามิเตอร์ใหม่
table DepthwiseConv2DOptions {
// Parameters for DepthwiseConv version 1 or above.
padding:Padding;
stride_w:int;
stride_h:int;
depth_multiplier:int;
fused_activation_function:ActivationFunctionType;
// Parameters for DepthwiseConv version 2 or above.
dilation_w_factor:int = 1;
dilation_h_factor:int = 1;
}
ควรสร้างไฟล์ lite/schema/schema_generated.h
ขึ้นใหม่สำหรับสคีมาใหม่
เปลี่ยนโครงสร้าง C และการใช้งานเคอร์เนล
ใน TensorFlow Lite การใช้งานเคอร์เนลจะแยกออกจากคำจำกัดความ FlatBuffer เคอร์เนลจะอ่านพารามิเตอร์จากโครงสร้าง C ที่กำหนดไว้ใน lite/c/builtin_op_data.h
พารามิเตอร์ Deepwise Convolution เดิมมีดังนี้
typedef struct {
TfLitePadding padding;
int stride_width;
int stride_height;
int depth_multiplier;
TfLiteFusedActivation activation;
} TfLiteDepthwiseConvParams;
เพิ่มความคิดเห็นที่บ่งชี้ว่าพารามิเตอร์ใดรองรับโดยเริ่มจากเวอร์ชันใด เช่นเดียวกับสคีมา FlatBuffer ผลลัพธ์มีดังนี้
typedef struct {
// Parameters for DepthwiseConv version 1 or above.
TfLitePadding padding;
int stride_width;
int stride_height;
int depth_multiplier;
TfLiteFusedActivation activation;
// Parameters for DepthwiseConv version 2 or above.
int dilation_width_factor;
int dilation_height_factor;
} TfLiteDepthwiseConvParams;
โปรดเปลี่ยนการใช้งานเคอร์เนลเพื่ออ่านพารามิเตอร์ที่เพิ่มเข้ามาใหม่จากโครงสร้าง C รายละเอียดจึงละเว้นไว้ที่นี่
เปลี่ยนโค้ดการอ่าน FlatBuffer
ตรรกะในการอ่าน FlatBuffer และสร้างโครงสร้าง C อยู่ใน lite/core/api/flatbuffer_conversions.cc
อัปเดตไฟล์ให้จัดการพารามิเตอร์ใหม่ดังที่แสดงด้านล่าง
TfLiteStatus ParseDepthwiseConv2D(const Operator* op,
ErrorReporter* error_reporter,
BuiltinDataAllocator* allocator,
void** builtin_data) {
CheckParsePointerParams(op, error_reporter, allocator, builtin_data);
SafeBuiltinDataAllocator safe_allocator(allocator);
std::unique_ptr<TfLiteDepthwiseConvParams,
SafeBuiltinDataAllocator::BuiltinDataDeleter>
params = safe_allocator.Allocate<TfLiteDepthwiseConvParams>();
TF_LITE_ENSURE(error_reporter, params != nullptr);
const DepthwiseConv2DOptions* schema_params =
op->builtin_options_as_DepthwiseConv2DOptions();
if (schema_params != nullptr) {
params->padding = ConvertPadding(schema_params->padding());
params->stride_width = schema_params->stride_w();
params->stride_height = schema_params->stride_h();
params->depth_multiplier = schema_params->depth_multiplier();
params->activation =
ConvertActivation(schema_params->fused_activation_function());
params->dilation_width_factor = schema_params->dilation_w_factor();
params->dilation_height_factor = schema_params->dilation_h_factor();
}
*builtin_data = params.release();
return kTfLiteOk;
}
ไม่จำเป็นต้องตรวจสอบเวอร์ชันการดำเนินการที่นี่ เมื่อการใช้งานใหม่อ่านไฟล์โมเดลเก่าที่ไม่มีปัจจัยการขยายขนาด การใช้ 1 เป็นค่าเริ่มต้น และเคอร์เนลใหม่จะทำงานอย่างสอดคล้องกับเคอร์เนลเดิม
เปลี่ยนการลงทะเบียนเคอร์เนล
MutableOpResolver (ตามคำจำกัดความใน lite/mutable_op_resolver.h
) มีฟังก์ชันบางอย่างสำหรับการลงทะเบียน op kernels เวอร์ชันต่ำสุดและสูงสุดคือ 1 โดยค่าเริ่มต้น
void AddBuiltin(tflite::BuiltinOperator op, TfLiteRegistration* registration,
int min_version = 1, int max_version = 1);
void AddCustom(const char* name, TfLiteRegistration* registration,
int min_version = 1, int max_version = 1);
การดำเนินการในตัวจะจดทะเบียนใน lite/kernels/register.cc
ในตัวอย่างนี้ เราใช้เคอร์เนลแบบดำเนินการใหม่ซึ่งรองรับ DepthwiseConv2D
เวอร์ชัน 1 และ 2 ได้ เราจึงจำเป็นต้องเปลี่ยนบรรทัดต่อไปนี้
AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D());
กับ:
AddBuiltin(BuiltinOperator_DEPTHWISE_CONV_2D, Register_DEPTHWISE_CONV_2D(),
/* min_version = */ 1,
/* max_version = */ 2);
เปลี่ยนเวอร์ชันการดำเนินการของ TFLite
ขั้นตอนต่อไปคือทำให้ TFLite ป้อนข้อมูลเวอร์ชันขั้นต่ำที่จำเป็นต่อการเรียกใช้การดำเนินการ ซึ่งในตัวอย่างนี้หมายความว่า
- เติมค่า version=1 เมื่อตัวประกอบการขยายเท่ากับ 1 ทั้งหมด
- ป้อน version=2 ด้วยวิธีอื่น
แก้ไขฟังก์ชัน GetBuiltinOperatorVersion
สำหรับโอเปอเรเตอร์ใน lite/tools/versioning/op_version.cc
โดยเพิ่มเวอร์ชันใหม่ไปยังกรณีของ DepthwiseConv2D
ดังนี้
case BuiltinOperator_DEPTHWISE_CONV_2D:
auto depthwise_conv_params =
reinterpret_cast<TfLiteDepthwiseConvParams*>(op_sig.builtin_data);
TFLITE_DCHECK(depthwise_conv_params != nullptr);
if (depthwise_conv_params->dilation_width_factor != 1 ||
depthwise_conv_params->dilation_height_factor != 1) {
return 2;
}
return 1;
อัปเดตแมปเวอร์ชันโอเปอเรเตอร์
ขั้นตอนสุดท้ายคือเพิ่มข้อมูลเวอร์ชันใหม่ลงในแมปเวอร์ชันโอเปอเรเตอร์ ต้องดำเนินการขั้นตอนนี้เนื่องจากเราต้องสร้างเวอร์ชันรันไทม์ขั้นต่ำที่จำเป็นของโมเดลโดยอิงตามแมปเวอร์ชันนี้
ในการดำเนินการดังกล่าว คุณต้องเพิ่มรายการแผนที่ใหม่ใน lite/tools/versioning/runtime_version.cc
ในตัวอย่างนี้ คุณต้องเพิ่มรายการต่อไปนี้ลงใน op_version_map
{ {BuiltinOperator_DEPTHWISE_CONV_2D, 2}, %CURRENT_RUNTIME_VERSION%}
โดยที่ %CURRENT_RUNTIME_VERSION%
สอดคล้องกับเวอร์ชันรันไทม์ปัจจุบันที่กำหนดไว้ใน tensorflow/core/public/version.h
การใช้งานการมอบสิทธิ์
TensorFlow Lite มี Delegation API ซึ่งช่วยให้มอบสิทธิ์การดำเนินการให้กับแบ็กเอนด์ฮาร์ดแวร์ได้ ในฟังก์ชัน Prepare
ของผู้รับมอบสิทธิ์ ให้ตรวจสอบว่าทุกโหนดในโค้ดการมอบสิทธิ์รองรับเวอร์ชันเวอร์ชันนี้หรือไม่
const int kMaxVersion = 1;
TfLiteNode* node;
TfLiteRegistration* registration = nullptr;
TF_LITE_ENSURE_STATUS(context->GetNodeAndRegistration(context, node_index, &node, ®istration));
if (registration->version > kMaxVersion) {
// Reject the node if the version isn't supported.
}
ซึ่งจำเป็นต้องดำเนินการแม้ว่าการมอบสิทธิ์จะรองรับการดำเนินการเวอร์ชัน 1 เท่านั้น ดังนั้นการมอบสิทธิ์จะตรวจพบความไม่เข้ากันเมื่อได้รับตัวเลือกเวอร์ชันที่สูงกว่า