開始使用 LiteRT Next

LiteRT Next API 與 LiteRT API 不相容，因此使用 LiteRT 的應用程式必須完全遷移至 LiteRT Next，才能使用新 API 提供的功能。應用程式無法交替使用 TF Lite 解譯器 API 和已編譯模型 API。

LiteRT Next 提供 Kotlin 和 C++ 適用的 API。使用其他語言的 LiteRT SDK 應用程式應繼續使用 LiteRT。

Android 依附元件

如要遷移使用 LiteRT 的 Android 應用程式，請將依附元件從 com.google.ai.edge.litert 改為 com.google.ai.edge.litert:litert:2.0.0-alpha。

在 LiteRT 中，GPU 加速器可做為委派作業，位於個別程式庫 (com.google.ai.edge.litert:litert-gpu) 中。在 LiteRT Next 中，GPU 加速器則包含在 LiteRT Next 套件中。詳情請參閱「GPU 與 LiteRT Next」。

您可以將 LiteRT Next 套件新增至 build.gradle 依附元件：

dependencies {
  ...
  implementation `com.google.ai.edge.litert:litert:2.0.0-alpha`
}

程式碼變更

使用 LiteRT 的應用程式必須將使用 Compiled Model API 的程式碼替換為使用 TFLite 解譯器 API 的程式碼。以下列出遷移至 LiteRT Next 所需的主要變更。詳情請參閱 LiteRT Next API 參考資料。

C++ 中的程式碼變更

如要遷移使用 C++ 的應用程式，請替換下列關鍵程式碼片段：

	LiteRT (TFLite 解譯器)	LiteRT Next (`CompiledModel`)
載入模型	`FlatBufferModel::BuildFromFile() InterpreterBuilder(...)`	`Model::CreateFromFile("mymodel.tflite")` 注意：沒有單獨的建構工具步驟
初始化執行階段	`builder(&interpreter), interpreter->AllocateTensors()`	`CompiledModel::Create(env, model, kLiteRtHwAcceleratorCpu)` 注意：無手動記憶體配置步驟
使用加速器	`interpreter->ModifyGraphWithDelegate(...)`	`CompiledModel::Create(env, model, kLiteRtHwAcceleratorGpu)`
執行模型	`interpreter->Invoke()`	`compiled_model->Run(inputs, outputs)`

Kotlin 中的程式碼變更

如要使用 Kotlin 遷移應用程式，請按照下列主要步驟操作：

設定模型和執行階段

使用 LiteRT 時，您會在不同步驟中載入模型、設定加速功能，並初始化執行階段：

// Load the model
val modelBuffer: MappedByteBuffer =
  FileUtil.loadMappedFile(appContext, "model.tflite")

// Initialize runtime
val options = Interpreter.Options()
val interpreter = Interpreter(modelBuffer, options)
interpreter.allocateTensors()

// Use accelerators
aval gpuDelegate = GpuDelegate()
options.addDelegate(gpuDelegate)

使用 LiteRT Next 時，您可以同時載入模型、指定加速度，並初始化執行階段：

val model =
CompiledModel.create(
  context.assets,
  "model.tflite",
  CompiledModel.Options(Accelerator.GPU)
)

執行推論

如要使用 LiteRT 執行模型，請按照下列步驟操作：

val input = FloatBuffer.allocate(data_size)
val output = FloatBuffer.allocate(data_size)
interpreter.run(input, output)

如要使用 LiteRT Next 執行模型，請按照下列步驟操作：

val inputBuffers = model.createInputBuffers()
val outputBuffers = model.createOutputBuffers()
model.run(inputBuffers, outputBuffers)

其他圖書館

LiteRT Next API 僅適用於 Kotlin 和 C++。使用其他語言的 LiteRT SDK 的應用程式無法遷移至 LiteRT Next。

在 Play 服務執行階段中使用 LiteRT 的應用程式無法遷移至 LiteRT Next，應繼續使用 play-services-tflite 執行階段。工作程式庫和 Model Maker 程式庫無法遷移至 LiteRT Next，應繼續使用 TensorFlow Lite API。