轉換 TensorFlow 模型

本頁面說明如何轉換 TensorFlow 模型轉換成 LiteRT 模型 (經過最佳化調整的 FlatBuffer 格式，這是由 .tflite 副檔名)，請使用 LiteRT 轉換工具。

轉換工作流程

下圖是轉換的整體流程圖您的模型：

TFLite 轉換工具工作流程

圖 1. 轉換器工作流程。

您可以使用下列其中一個選項轉換模型：

Python API (建議)：這可讓您將轉換整合至開發管道。套用最佳化設定、新增中繼資料和其他許多工作轉換程序。
指令列：僅支援基本模型轉換。

，瞭解如何調查及移除這項存取權。

Python API

輔助程式碼：進一步瞭解 LiteRT 轉換工具 API，執行 print(help(tf.lite.TFLiteConverter))。

使用以下程式碼轉換 TensorFlow 模型： tf.lite.TFLiteConverter。 TensorFlow 模型以 1 格式儲存，透過高階 tf.keras.* API (Keras 模型) 產生的模型，或是用於產生具體函式的低階 tf.* API身為您有以下三種選擇 (範例會在接下來的幾個區段)：

tf.lite.TFLiteConverter.from_saved_model() (建議)：轉換 SavedModel。
tf.lite.TFLiteConverter.from_keras_model()：轉換 Keras 模型。
tf.lite.TFLiteConverter.from_concrete_functions()：轉換具體函式

轉換 AES (建議)

以下範例說明如何將 SavedModel 到 TensorFlow 精簡模式。

import tensorflow as tf

# Convert the model
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir) # path to the SavedModel directory
tflite_model = converter.convert()

# Save the model.
with open('model.tflite', 'wb') as f:
  f.write(tflite_model)

轉換 Keras 模型

以下範例說明如何將匯入 TensorFlow 中的 Keras 模型精簡模式。

import tensorflow as tf

# Create a model using high-level tf.keras.* APIs
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(units=1, input_shape=[1]),
    tf.keras.layers.Dense(units=16, activation='relu'),
    tf.keras.layers.Dense(units=1)
])
model.compile(optimizer='sgd', loss='mean_squared_error') # compile the model
model.fit(x=[-1, 0, 1], y=[-3, -1, 1], epochs=5) # train the model
# (to generate a SavedModel) tf.saved_model.save(model, "saved_model_keras_dir")

# Convert the model.
converter = tf.lite.TFLiteConverter.from_keras_model(model)
tflite_model = converter.convert()

# Save the model.
with open('model.tflite', 'wb') as f:
  f.write(tflite_model)

轉換具體函式

以下範例說明如何轉換具體函式 LiteRT 模型。

import tensorflow as tf

# Create a model using low-level tf.* APIs
class Squared(tf.Module):
  @tf.function(input_signature=[tf.TensorSpec(shape=[None], dtype=tf.float32)])
  def __call__(self, x):
    return tf.square(x)
model = Squared()
# (ro run your model) result = Squared(5.0) # This prints "25.0"
# (to generate a SavedModel) tf.saved_model.save(model, "saved_model_tf_dir")
concrete_func = model.__call__.get_concrete_function()

# Convert the model.

converter = tf.lite.TFLiteConverter.from_concrete_functions([concrete_func],
                                                            model)
tflite_model = converter.convert()

# Save the model.
with open('model.tflite', 'wb') as f:
  f.write(tflite_model)

其他功能

套用最佳化方法。常見的使用的最佳化方法為課後量化這樣您就能進一步減少模型延遲時間和大小同時盡量減少損失準確度。
新增中繼資料，更輕鬆地建立平台來在裝置上部署模型時的特定包裝函式程式碼。

轉換錯誤

以下是常見的轉換錯誤及相應的解決方案：

錯誤：Some ops are not supported by the native TFLite runtime, you can enable TF kernels fallback using TF Select.

解決方案：模型中的 TF 運算沒有內容，因此發生錯誤對應的 TFLite 實作項目。解決方法在 TFLite 模型中使用 TF 運算 (建議)。如果只想產生含有 TFLite 運算的模型，您可以要求取得缺少的 TFLite 運算 GitHub 問題 #21526 (若尚未提及您的要求，請留言) 或建立 TFLite 運算你自己。
錯誤：.. is neither a custom op nor a flex op

解決方案：如果這個 TF 運算：
- 在 TF 中支援：當指令元素缺少 TF 運算時，就會發生錯誤 allowlist (完整清單) TFLite 支援的 TF 運算)。您可以按照下列方式解決這個問題：
  1. 將缺少的作業加入許可清單。
  2. 將 TF 模型轉換成 TFLite 模型，然後執行推論。
- TF 不支援：因為 TFLite 不知道 TFLite 的自訂 TF 運算子。您可以按照下列方式解決這個問題：
  1. 建立 TF 運算。
  2. 將 TF 模型轉換為 TFLite 模型。
  3. 建立 TFLite 運算並將其連結至 TFLite 執行階段來執行推論。

指令列工具

如果從 pip 安裝了 TensorFlow 2.x，請使用 tflite_convert 指令。如要查看所有可用的旗標，請使用以下指令：

$ tflite_convert --help

`--output_file`. Type: string. Full path of the output file.
`--saved_model_dir`. Type: string. Full path to the SavedModel directory.
`--keras_model_file`. Type: string. Full path to the Keras H5 model file.
`--enable_v1_converter`. Type: bool. (default False) Enables the converter and flags used in TF 1.x instead of TF 2.x.

You are required to provide the `--output_file` flag and either the `--saved_model_dir` or `--keras_model_file` flag.

如果你有 TensorFlow 2.x 來源並希望從該來源執行轉換器，而不建構安裝套件你可以將「tflite_convert」同時「bazel run tensorflow/lite/python:tflite_convert --」指令中的位置。

轉換 AES

tflite_convert \
  --saved_model_dir=/tmp/mobilenet_saved_model \
  --output_file=/tmp/mobilenet.tflite

轉換 Keras H5 模型

tflite_convert \
  --keras_model_file=/tmp/mobilenet_keras_model.h5 \
  --output_file=/tmp/mobilenet.tflite