LiteRT 總覽

LiteRT (Lite Runtime 的簡稱) 舊稱 TensorFlow Lite，是 Google 的高效能裝置端 AI 執行階段。您可以找到適用於各種機器學習/AI 工作的 LiteRT 模型，也可以使用 AI Edge 轉換和最佳化工具，將 TensorFlow、PyTorch 和 JAX 模型轉換為 TFLite 格式並執行。

主要功能與特色

  • 專為裝置端機器學習技術最佳化：LiteRT 可解決五項重要的 ODML 限制：延遲時間 (無需往返伺服器)、隱私權 (個人資料不會離開裝置)、連線能力 (不需要網際網路連線)、大小 (縮減模型和二進位檔大小) 和耗電量 (推論效率高且沒有網路連線)。

  • 支援多種平台：相容於 Android 和 iOS 裝置、嵌入式 Linux 及微控制器。

  • 多架構模型選項：AI Edge 提供工具，可將 PyTorch 和 TensorFlow 模型轉換為 FlatBuffers 格式 (.tflite)，讓您在 LiteRT 上使用各種最先進的模型。您也可以使用模型最佳化工具，處理量化和中繼資料。

  • 支援多種程式語言：包括 Java/Kotlin、Swift、Objective-C、C++ 和 Python 的 SDK。

  • 高效能：透過 GPU 和 iOS Core ML 等專用委派項目硬體加速。

開發工作流程

LiteRT 開發工作流程包括找出機器學習/AI 問題、選擇可解決該問題的模型，以及在裝置上實作模型。下列步驟將逐步說明工作流程，並提供詳細操作說明的連結。

1. 找出最適合的機器學習問題解決方案

LiteRT 可讓使用者在解決機器學習問題時，享有高度彈性和自訂性，因此非常適合需要特定模型或專門實作方式的使用者。如果使用者需要隨插即用的解決方案，可能更適合使用 MediaPipe Tasks，這項工具提供現成的解決方案，可執行常見的機器學習工作，例如物件偵測、文字分類和 LLM 推論。

選擇下列其中一個 AI Edge 架構：

  • LiteRT：彈性且可自訂的執行階段，可執行各種模型。為您的用途選擇模型、轉換為 LiteRT 格式 (如有必要)，然後在裝置上執行。如果打算使用 LiteRT，請繼續閱讀。
  • MediaPipe Tasks：隨插即用的解決方案，內建預設模型，可供自訂。選擇可解決 AI/機器學習問題的任務，並在多個平台上實作。如要使用 MediaPipe Tasks，請參閱 MediaPipe Tasks 說明文件。

2. 選擇模型

LiteRT 模型以 FlatBuffers 這種高效率可攜格式呈現，並使用 .tflite 副檔名。

您可以透過下列方式使用 LiteRT 模型：

  • 使用現有的 LiteRT 模型：最簡單的方法是使用 .tflite 格式的現有 LiteRT 模型。這些模式不需要任何額外的轉換步驟。您可以在 Kaggle Models 找到 LiteRT 模型。

  • 將模型轉換為 LiteRT 模型：您可以使用 PyTorch Converter 或 TensorFlow Converter，將模型轉換為 FlatBuffers 格式 (.tflite)，並在 LiteRT 中執行。如要開始使用，請前往下列網站尋找模型：

LiteRT 模型可以選擇納入中繼資料，其中包含使用者可理解的模型說明，以及機器可解讀的資料，用來在裝置端推論期間自動產生預先處理和後續處理管線。詳情請參閱「新增中繼資料」。

3. 將模型整合至應用程式

您可以實作 LiteRT 模型，在網頁、嵌入式裝置和行動裝置上完全在裝置端執行推論。LiteRT 包含適用於 Python、Java 和 Kotlin (適用於 Android)、Swift (適用於 iOS) 和 C++ (適用於微型裝置) 的 API。

請參閱下列指南，在偏好的平台上導入 LiteRT 模型：

您可在 Android 和 iOS 裝置上使用硬體加速功能提升效能。在這兩種平台上均可使用 GPU 委任，在 iOS 上則可使用 Core ML 委任。如要額外支援新硬體加速器，您可以定義自己的委任。

您可按照模型類型，透過下列方式執行推論：

  • 不含中繼資料的模型：使用 LiteRT Interpreter API。 支援多種平台和程式語言，例如 Java、Swift、C++、Objective-C 和 Python。

  • 包含中繼資料的模型：您可以使用 LiteRT 支援程式庫建立自訂推論管線。

從 TF Lite 遷移

使用 TF Lite 程式庫的應用程式仍可繼續運作，但所有新的積極開發和更新內容只會納入 LiteRT 套件。LiteRT API 包含與 TF Lite API 相同的方法名稱，因此遷移至 LiteRT 時，不需要進行詳細的程式碼變更。

詳情請參閱遷移指南。

後續步驟

新使用者應先參閱 LiteRT 快速入門指南。如需特定資訊，請參閱以下各節：

模型轉換

平台指南