這份文件說明如何使用 微控制器
Hello World 範例
Hello World 範例旨在示範使用 LiteRT 時 微控制器我們會訓練並執行複製正弦函數的模型 也就是將一個數字做為輸入,並將這個數字 sine 值。部署至 微控制器時,其預測結果是用來閃爍 LED 或控制
端對端工作流程包含下列步驟:
- 訓練模型 (適用於 Python):用於訓練、轉換的 Python 檔案 並針對裝置端用途調整模型
- Run ference (在 C++ 17 中):一種端對端單元測試, 使用 C++ 程式庫在模型上進行推論。
取得支援的裝置
您要使用的應用程式範例已在下列裝置上測試:
- Arduino Nano 33 BLE Sense (使用 Arduino IDE)
- SparkFun Edge (直接建構) 來源)
- STM32F746 探索套件 (使用 Mbed)
- Adafruit EdgeBadge (使用 Arduino IDE)
- 微控制器的 Adafruit LiteRT (使用 Arduino IDE)
- Adafruit Circuit Playground Bluefruit (使用 Arduino IDE)
- Espressif ESP32-DevKitC (使用 ESP IDF)
- Espressif ESP-EYE (使用 ESP IDF)
進一步瞭解以下項目支援的平台: 適用於微控制器的 LiteRT。
訓練模型
使用 train.py 提供 sinwave 辨識的 Hello World 模型訓練
執行:bazel build tensorflow/lite/micro/examples/hello_world:train
bazel-bin/tensorflow/lite/micro/examples/hello_world/train --save_tf_model
--save_dir=/tmp/model_created/
執行推論
如要在裝置上執行模型,我們將逐步說明
README.md
:
以下各節將逐步說明
evaluate_test.cc
、
單元測試,示範如何使用 LiteRT 執行推論作業
微控制器。它會載入模型並多次執行推論。
1. 加入程式庫標頭
如要使用 LiteRT for Microcontrollers 程式庫,必須加入 下列標頭檔案:
#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "tensorflow/lite/micro/micro_error_reporter.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "tensorflow/lite/version.h"
micro_mutable_op_resolver.h
敬上 提供解譯器用來執行模型的作業。micro_error_reporter.h
敬上 輸出偵錯資訊micro_interpreter.h
敬上 包含用來載入及執行模型的程式碼。schema_generated.h
敬上 包含 LiteRT 的結構定義FlatBuffer
模型檔案格式。version.h
敬上 提供 LiteRT 結構定義的版本資訊。
2. 加入模型標頭
LiteRT for Microcontrollers 解譯器預期模型
以 C++ 陣列的形式提供物件模型已在 model.h
和 model.cc
檔案中定義。
標頭包含下列一行:
#include "tensorflow/lite/micro/examples/hello_world/model.h"
3. 加入單元測試架構標頭
為了建立單元測試,我們將 加入以下這行程式碼,即可瞭解微控制器單元測試架構:
#include "tensorflow/lite/micro/testing/micro_test.h"
測試是使用以下巨集來定義:
TF_LITE_MICRO_TESTS_BEGIN
TF_LITE_MICRO_TEST(LoadModelAndPerformInference) {
. // add code here
.
}
TF_LITE_MICRO_TESTS_END
現在,我們會討論上述巨集中包含的程式碼。
4. 設定記錄功能
如要設定記錄功能,系統會使用指標建立 tflite::ErrorReporter
指標
變更為 tflite::MicroErrorReporter
執行個體:
tflite::MicroErrorReporter micro_error_reporter;
tflite::ErrorReporter* error_reporter = µ_error_reporter;
這個變數會傳入解譯器,以便寫入
。由於微控制器通常有各種記錄機制,
tflite::MicroErrorReporter
的導入方式能夠根據使用者的需求自訂
與特定裝置。
5. 載入模型
下列程式碼是使用 char
陣列中的資料例項化模型,
g_model
,在 model.h
中宣告。接著我們會檢查模型
結構定義版本與使用的版本相容:
const tflite::Model* model = ::tflite::GetModel(g_model);
if (model->version() != TFLITE_SCHEMA_VERSION) {
TF_LITE_REPORT_ERROR(error_reporter,
"Model provided is schema version %d not equal "
"to supported version %d.\n",
model->version(), TFLITE_SCHEMA_VERSION);
}
6. 將作業解析器例項化
A 罩杯
MicroMutableOpResolver
敬上
系統會宣告執行個體翻譯人員會使用這項資訊註冊
存取模型使用的作業:
using HelloWorldOpResolver = tflite::MicroMutableOpResolver<1>;
TfLiteStatus RegisterOps(HelloWorldOpResolver& op_resolver) {
TF_LITE_ENSURE_STATUS(op_resolver.AddFullyConnected());
return kTfLiteOk;
MicroMutableOpResolver
需要指定指出數字的範本參數
即將註冊的作業數量RegisterOps
函式會註冊運算
與解析器聯絡
HelloWorldOpResolver op_resolver;
TF_LITE_ENSURE_STATUS(RegisterOps(op_resolver));
7. 分配記憶體
我們需要預先分配特定容量的記憶體
中間陣列。此為大小的 uint8_t
陣列
tensor_arena_size
:
const int tensor_arena_size = 2 * 1024;
uint8_t tensor_arena[tensor_arena_size];
必要大小會因您使用的模型而異, 結果。
8. 將翻譯模式執行個體化
我們建立 tflite::MicroInterpreter
例項,並傳入變數
先前建立:
tflite::MicroInterpreter interpreter(model, resolver, tensor_arena,
tensor_arena_size, error_reporter);
9. 分配張量
我們會告知解譯器從 tensor_arena
為
模型的張量
interpreter.AllocateTensors();
10. 驗證輸入形狀
MicroInterpreter
例項可以向我們提供
透過呼叫 .input(0)
的方式輸入輸入張量,其中 0
代表第一個 (且只是)
輸入張量:
// Obtain a pointer to the model's input tensor
TfLiteTensor* input = interpreter.input(0);
接著我們會檢查這個張量,確認其形狀和類型與 預期結果:
// Make sure the input has the properties we expect
TF_LITE_MICRO_EXPECT_NE(nullptr, input);
// The property "dims" tells us the tensor's shape. It has one element for
// each dimension. Our input is a 2D tensor containing 1 element, so "dims"
// should have size 2.
TF_LITE_MICRO_EXPECT_EQ(2, input->dims->size);
// The value of each element gives the length of the corresponding tensor.
// We should expect two single element tensors (one is contained within the
// other).
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]);
// The input is a 32 bit floating point value
TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, input->type);
列舉值 kTfLiteFloat32
是對其中一個 LiteRT 的參照
是一種資料類型
common.h
。
11. 提供輸入值
為了向模型提供輸入內容,我們會將輸入張量設為內容, 如下:
input->data.f[0] = 0.;
在本例中,我們會輸入代表 0
的浮點值。
12. 執行模型
如要執行模型,我們可以對 tflite::MicroInterpreter
呼叫 Invoke()
執行個體:
TfLiteStatus invoke_status = interpreter.Invoke();
if (invoke_status != kTfLiteOk) {
TF_LITE_REPORT_ERROR(error_reporter, "Invoke failed\n");
}
我們可以檢查回傳值 (TfLiteStatus
),判斷執行作業是否
成功。TfLiteStatus
可能的值,定義為
common.h
,
為 kTfLiteOk
和 kTfLiteError
。
下列程式碼會宣告值為 kTfLiteOk
,表示推論為
TF_LITE_MICRO_EXPECT_EQ(kTfLiteOk, invoke_status);
13. 取得輸出內容
呼叫 output(0)
上,即可取得模型的輸出張量
tflite::MicroInterpreter
,其中 0
代表第一個 (且唯一) 輸出內容
張量
在這個範例中,模型的輸出是內含 在 2D 張量內進行以下操作:
TfLiteTensor* output = interpreter.output(0);
TF_LITE_MICRO_EXPECT_EQ(2, output->dims->size);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]);
TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, output->type);
我們可以直接從輸出張量讀取值,並斷言其為 預期:
// Obtain the output value from the tensor
float value = output->data.f[0];
// Check that the output value is within 0.05 of the expected value
TF_LITE_MICRO_EXPECT_NEAR(0., value, 0.05);
14. 再次執行推論
其餘的程式碼會再進行多次推論。在每個執行個體中 我們會將值指派給輸入張量、叫用解譯器,然後讀取 輸出張量的結果:
input->data.f[0] = 1.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(0.841, value, 0.05);
input->data.f[0] = 3.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(0.141, value, 0.05);
input->data.f[0] = 5.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(-0.959, value, 0.05);