隆重推出 LiteRT：Google 為裝置端 AI (舊稱 TensorFlow Lite) 打造的高效能執行階段。

本頁面由 Cloud Translation API 翻譯而成。

開始使用微控制器

這份文件說明如何使用微控制器

Hello World 範例

Hello World 範例旨在示範使用 LiteRT 時微控制器我們會訓練並執行複製正弦函數的模型也就是將一個數字做為輸入，並將這個數字 sine 值。部署至微控制器時，其預測結果是用來閃爍 LED 或控制

端對端工作流程包含下列步驟：

訓練模型 (適用於 Python)：用於訓練、轉換的 Python 檔案並針對裝置端用途調整模型
Run ference (在 C++ 17 中)：一種端對端單元測試，使用 C++ 程式庫在模型上進行推論。

取得支援的裝置

您要使用的應用程式範例已在下列裝置上測試：

Arduino Nano 33 BLE Sense (使用 Arduino IDE)
SparkFun Edge (直接建構) 來源)
STM32F746 探索套件 (使用 Mbed)
Adafruit EdgeBadge (使用 Arduino IDE)
微控制器的 Adafruit LiteRT (使用 Arduino IDE)
Adafruit Circuit Playground Bluefruit (使用 Arduino IDE)
Espressif ESP32-DevKitC (使用 ESP IDF)
Espressif ESP-EYE (使用 ESP IDF)

進一步瞭解以下項目支援的平台：適用於微控制器的 LiteRT。

訓練模型

使用 train.py 提供 sinwave 辨識的 Hello World 模型訓練

執行：bazel build tensorflow/lite/micro/examples/hello_world:train bazel-bin/tensorflow/lite/micro/examples/hello_world/train --save_tf_model --save_dir=/tmp/model_created/

執行推論

如要在裝置上執行模型，我們將逐步說明 README.md:

您好：世界 README.md

以下各節將逐步說明 evaluate_test.cc、單元測試，示範如何使用 LiteRT 執行推論作業微控制器。它會載入模型並多次執行推論。

1. 加入程式庫標頭

如要使用 LiteRT for Microcontrollers 程式庫，必須加入下列標頭檔案：

#include "tensorflow/lite/micro/micro_mutable_op_resolver.h"
#include "tensorflow/lite/micro/micro_error_reporter.h"
#include "tensorflow/lite/micro/micro_interpreter.h"
#include "tensorflow/lite/schema/schema_generated.h"
#include "tensorflow/lite/version.h"

micro_mutable_op_resolver.h敬上提供解譯器用來執行模型的作業。
micro_error_reporter.h敬上輸出偵錯資訊
micro_interpreter.h敬上包含用來載入及執行模型的程式碼。
schema_generated.h敬上包含 LiteRT 的結構定義 FlatBuffer 模型檔案格式。
version.h敬上提供 LiteRT 結構定義的版本資訊。

2. 加入模型標頭

LiteRT for Microcontrollers 解譯器預期模型以 C++ 陣列的形式提供物件模型已在 model.h 和 model.cc 檔案中定義。標頭包含下列一行：

#include "tensorflow/lite/micro/examples/hello_world/model.h"

3. 加入單元測試架構標頭

為了建立單元測試，我們將加入以下這行程式碼，即可瞭解微控制器單元測試架構：

#include "tensorflow/lite/micro/testing/micro_test.h"

測試是使用以下巨集來定義：

TF_LITE_MICRO_TESTS_BEGIN

TF_LITE_MICRO_TEST(LoadModelAndPerformInference) {
  . // add code here
  .
}

TF_LITE_MICRO_TESTS_END

現在，我們會討論上述巨集中包含的程式碼。

4. 設定記錄功能

如要設定記錄功能，系統會使用指標建立 tflite::ErrorReporter 指標變更為 tflite::MicroErrorReporter 執行個體：

tflite::MicroErrorReporter micro_error_reporter;
tflite::ErrorReporter* error_reporter = &micro_error_reporter;

這個變數會傳入解譯器，以便寫入。由於微控制器通常有各種記錄機制， tflite::MicroErrorReporter 的導入方式能夠根據使用者的需求自訂與特定裝置。

5. 載入模型

下列程式碼是使用 char 陣列中的資料例項化模型， g_model，在 model.h 中宣告。接著我們會檢查模型結構定義版本與使用的版本相容：

const tflite::Model* model = ::tflite::GetModel(g_model);
if (model->version() != TFLITE_SCHEMA_VERSION) {
  TF_LITE_REPORT_ERROR(error_reporter,
      "Model provided is schema version %d not equal "
      "to supported version %d.\n",
      model->version(), TFLITE_SCHEMA_VERSION);
}

6. 將作業解析器例項化

A 罩杯 MicroMutableOpResolver敬上系統會宣告執行個體翻譯人員會使用這項資訊註冊存取模型使用的作業：

using HelloWorldOpResolver = tflite::MicroMutableOpResolver<1>;

TfLiteStatus RegisterOps(HelloWorldOpResolver& op_resolver) {
  TF_LITE_ENSURE_STATUS(op_resolver.AddFullyConnected());
  return kTfLiteOk;

MicroMutableOpResolver 需要指定指出數字的範本參數即將註冊的作業數量RegisterOps 函式會註冊運算與解析器聯絡

HelloWorldOpResolver op_resolver;
TF_LITE_ENSURE_STATUS(RegisterOps(op_resolver));

7. 分配記憶體

我們需要預先分配特定容量的記憶體中間陣列。此為大小的 uint8_t 陣列 tensor_arena_size：

const int tensor_arena_size = 2 * 1024;
uint8_t tensor_arena[tensor_arena_size];

必要大小會因您使用的模型而異，結果。

8. 將翻譯模式執行個體化

我們建立 tflite::MicroInterpreter 例項，並傳入變數先前建立：

tflite::MicroInterpreter interpreter(model, resolver, tensor_arena,
                                     tensor_arena_size, error_reporter);

9. 分配張量

我們會告知解譯器從 tensor_arena 為模型的張量

interpreter.AllocateTensors();

10. 驗證輸入形狀

MicroInterpreter 例項可以向我們提供透過呼叫 .input(0) 的方式輸入輸入張量，其中 0 代表第一個 (且只是) 輸入張量：

  // Obtain a pointer to the model's input tensor
  TfLiteTensor* input = interpreter.input(0);

接著我們會檢查這個張量，確認其形狀和類型與預期結果：

// Make sure the input has the properties we expect
TF_LITE_MICRO_EXPECT_NE(nullptr, input);
// The property "dims" tells us the tensor's shape. It has one element for
// each dimension. Our input is a 2D tensor containing 1 element, so "dims"
// should have size 2.
TF_LITE_MICRO_EXPECT_EQ(2, input->dims->size);
// The value of each element gives the length of the corresponding tensor.
// We should expect two single element tensors (one is contained within the
// other).
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]);
// The input is a 32 bit floating point value
TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, input->type);

列舉值 kTfLiteFloat32 是對其中一個 LiteRT 的參照是一種資料類型 common.h。

11. 提供輸入值

為了向模型提供輸入內容，我們會將輸入張量設為內容，如下：

input->data.f[0] = 0.;

在本例中，我們會輸入代表 0 的浮點值。

12. 執行模型

如要執行模型，我們可以對 tflite::MicroInterpreter 呼叫 Invoke() 執行個體：

TfLiteStatus invoke_status = interpreter.Invoke();
if (invoke_status != kTfLiteOk) {
  TF_LITE_REPORT_ERROR(error_reporter, "Invoke failed\n");
}

我們可以檢查回傳值 (TfLiteStatus)，判斷執行作業是否成功。TfLiteStatus 可能的值，定義為 common.h, 為 kTfLiteOk 和 kTfLiteError。

下列程式碼會宣告值為 kTfLiteOk，表示推論為

TF_LITE_MICRO_EXPECT_EQ(kTfLiteOk, invoke_status);

13. 取得輸出內容

呼叫 output(0) 上，即可取得模型的輸出張量 tflite::MicroInterpreter，其中 0 代表第一個 (且唯一) 輸出內容張量

在這個範例中，模型的輸出是內含在 2D 張量內進行以下操作：

TfLiteTensor* output = interpreter.output(0);
TF_LITE_MICRO_EXPECT_EQ(2, output->dims->size);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[0]);
TF_LITE_MICRO_EXPECT_EQ(1, input->dims->data[1]);
TF_LITE_MICRO_EXPECT_EQ(kTfLiteFloat32, output->type);

我們可以直接從輸出張量讀取值，並斷言其為預期：

// Obtain the output value from the tensor
float value = output->data.f[0];
// Check that the output value is within 0.05 of the expected value
TF_LITE_MICRO_EXPECT_NEAR(0., value, 0.05);

14. 再次執行推論

其餘的程式碼會再進行多次推論。在每個執行個體中我們會將值指派給輸入張量、叫用解譯器，然後讀取輸出張量的結果：

input->data.f[0] = 1.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(0.841, value, 0.05);

input->data.f[0] = 3.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(0.141, value, 0.05);

input->data.f[0] = 5.;
interpreter.Invoke();
value = output->data.f[0];
TF_LITE_MICRO_EXPECT_NEAR(-0.959, value, 0.05);