LiteRT 總覽

LiteRT (Lite 執行階段的簡稱) 是 Google 的裝置端 AI 高效能執行階段，先前稱為 TensorFlow Lite。您可以找到可立即執行的 LiteRT 模型，用於各種機器學習/人工智慧工作，也可以使用 AI Edge 轉換和最佳化工具，將 TensorFlow、PyTorch 和 JAX 模型轉換為 TFLite 格式並執行。

主要功能與特色

  • 針對裝置端機器學習進行最佳化：LiteRT 解決了五項主要的 ODML 限制：延遲 (不會與伺服器進行來回傳輸)、隱私權 (不會將個人資料從裝置傳出)、連線 (不需要網路連線)、大小 (縮減模型和二進位大小) 和耗電量 (有效推論且沒有網路連線)。

  • 支援多種平台：支援 Android 和 iOS 裝置、嵌入式 Linux 和微控制器。

  • 多個架構模型選項：AI Edge 提供工具，可將 TensorFlow、PyTorch 和 JAX 模型轉換為 FlatBuffers 格式 (.tflite)，讓您在 LiteRT 上使用多種頂尖模型。您也可以使用模型最佳化工具，處理量化和中繼資料。

  • 支援多種程式語言：包含 Java/Kotlin、Swift、Objective-C、C++ 和 Python 的 SDK。

  • 高效能：透過 GPU 和 iOS Core ML 等專屬代理程式，執行硬體加速。

開發工作流程

LiteRT 開發工作流程包括找出機器學習/AI 問題、選擇可解決該問題的模型，以及在裝置上實作模型。請按照下列步驟操作，我們會引導您完成工作流程，並提供進一步操作說明的連結。

1. 找出最適合解決機器學習問題的解決方案

LiteRT 可為使用者提供高度的彈性和自訂性，以解決機器學習問題，因此非常適合需要特定模型或專門實作的使用者。如果您需要即插即用解決方案，建議使用 MediaPipe 工作，因為這項工具提供常見機器學習工作的現成解決方案，例如物件偵測、文字分類和 LLM 推論。

選擇下列任一 AI Edge 架構：

  • LiteRT：彈性且可自訂的執行階段，可執行各種模型。為用途選擇模型，將模型轉換為 LiteRT 格式 (如有必要)，然後在裝置上執行。如果您打算使用 LiteRT，請繼續閱讀。
  • MediaPipe 工作：隨插即用解決方案，內含可自訂的預設模型。選擇可解決 AI/ML 問題的工作，並在多個平台上實作。如果您想使用 MediaPipe Tasks，請參閱 MediaPipe Tasks 說明文件。

2. 選擇模型

LiteRT 模型以 FlatBuffers 這種高效率可攜格式呈現，該格式使用 .tflite 副檔名。

您可以透過下列方式使用 LiteRT 模型：

LiteRT 模型可以選擇納入中繼資料，其中包含使用者可理解的模型說明，以及機器可解讀的資料，用來在裝置端推論期間自動產生預先處理和後續處理管線。詳情請參閱「新增中繼資料」。

3. 將模型整合至應用程式

您可以實作 LiteRT 模型，在網頁、嵌入式裝置和行動裝置上完全在裝置端執行推論。LiteRT 包含適用於 Python、Android 適用的 Java 和 Kotlin、iOS 適用的 Swift 以及微型裝置適用的 C++ 的 API。

請參閱下列指南，在您偏好的平台上導入 LiteRT 模型：

您可在 Android 和 iOS 裝置上使用硬體加速功能提升效能。在這兩種平台上均可使用 GPU 委任，在 iOS 上可使用 Core ML 委任。如要額外支援新硬體加速器，您可以定義自己的委任。

您可按照模型類型，透過下列方式執行推論：

  • 不含中繼資料的模型：使用 LiteRT Interpreter API。支援多種平台和程式語言，例如 Java、Swift、C++、Objective-C 和 Python。

  • 包含中繼資料的模型：您可以使用 LiteRT 支援資料庫建立自訂推論管線。

從 TF Lite 遷移

使用 TF Lite 程式庫的應用程式仍可繼續運作，但所有新的開發和更新作業都只會納入 LiteRT 套件。LiteRT API 包含與 TF Lite API 相同的方法名稱，因此遷移至 LiteRT 不需要進行詳細的程式碼變更。

詳情請參閱遷移指南。

後續步驟

新使用者應先參閱 LiteRT 快速入門指南。如需詳細資訊，請參閱下列各節：

模型轉換

平台指南