LiteRT 總覽

LiteRT (舊稱 TensorFlow Lite) 是 Google 的高效能執行階段 AI 開發原則您可以透過 無論是機器學習/AI 工作 或轉換及執行 TensorFlow、PyTorch 和 JAX 模型 和最佳化工具使用 TFLite 格式。

主要功能與特色

  • 針對裝置端機器學習技術進行最佳化：LerRT 地址五 主要 ODML 限制：延遲時間 (無須往返伺服器)、隱私權 (沒有個人資料從裝置傳出)、網路連線 (網際網路連線 非必要)、大小 (縮減模型和二進位檔大小) 以及耗電量 (有效率的推論且缺乏網路連線)。

  • 多平台支援：與 Android 和 iOS 裝置、嵌入式裝置 Linux，以及 微控制器。

  • 多架構模型選項：AI Edge 提供模型轉換工具 從 TensorFlow、PyTorch 和 JAX 模型轉換為 FlatBuffers 格式 (.tflite)，可讓您使用各種最先進的模型 LiteRT。此外，您也可以使用模型最佳化工具 量化和中繼資料

  • 支援多種語言：包含 Java/Kotlin、Swift、 Objective-C、C++ 和 Python

  • 高效能：硬體加速 例如 GPU 和 iOS Core ML 等特殊委派代表。

開發工作流程

LiteRT 的開發工作流程包括找出機器學習/AI 問題 選擇可解決該問題的模型，然後在裝置端實作模型。 下列步驟會逐步引導您完成工作流程，並提供可進一步瞭解詳情的連結 操作說明。

1. 找出最合適的機器學習問題解決方案

LiteRT 具備高度靈活性和可自訂性 相當適合用於解決機器學習問題 使用者需要特定模型或專業實作位使用者 尋找隨點即播解決方案可能會比較喜歡 MediaPipe Tasks，提供 適用於常見機器學習工作 (如物件偵測) 的現成解決方案 像是分類文字、大型語言模型推論

請選擇下列其中一個 AI Edge 架構：

  • LiteRT：具彈性且可自訂的執行階段，可用於執行更廣泛的 能以多種不同方式選擇用途的模型，然後轉換為 LiteRT 格式 (如有需要)，可在裝置上執行。如果您希望 使用 LiteRT，繼續閱讀
  • MediaPipe Tasks：支援即插即用解決方案的預設模型 量身打造專屬模式選擇能解決 AI/機器學習問題的工作，並 在多個平台上實作如果想要使用 MediaPipe Tasks， 請參閱 MediaPipe Tasks 說明文件。

2. 選擇模型

LiteRT 模型是以高效率的可攜式格式表示，也就是 FlatBuffers，必須使用 .tflite 為副檔名。

您可以透過以下方式使用 LiteRT 模型：

LiteRT 模型可選擇納入中繼資料，當中包含 人類可讀的模型說明和機器可讀取的資料 在裝置端推論期間產生預先和後續處理的管道 詳情請參閱「新增中繼資料」一文。

3. 將模型整合至應用程式

您可以實作 LiteRT 模型來執行完全推論 在單一裝置上嵌入、嵌入網頁和行動裝置。LiteRT 包含 API 適用於 Python、Java 和 Kotlin Android 版 Swift 適用於 Android 裝置 iOS 和 C++ (適用於微型裝置)。

請參閱下列指南，根據偏好的方式實作 LiteRT 模型 平台：

您可以在 Android 和 iOS 裝置上使用硬體提升效能 加速。不論是哪一種平台，您都可以使用 GPU 委派作業；在 iOS 上，您可以使用 Core ML 委派。如要新增硬體加速器的支援功能，您可以 定義自己的委派代表。

您可以根據模型類型，透過下列方式執行推論：

  • 不含中繼資料的模型：使用 LiteRT 口譯 API。支援多種平台和語言 例如 Java、Swift、C++、Objective-C 和 Python

  • 含中繼資料的模型：您可以使用 LiteRT 支援資料庫。

從 LiteRT 遷移

使用 LiteRT 程式庫的應用程式會繼續運作，但 所有新的有效開發和更新項目只會包含在 LiteRT 套件中。 LiteRT API 包含的方法名稱與 TF Lite API 相同，因此 則不需要詳細修改程式碼。

詳情請參閱遷移指南。

後續步驟

新使用者建議參考 LiteRT 快速入門導覽課程。 如需特定資訊，請參閱下列章節：

模擬轉換

平台指南