開放原始碼推論架構，可用於正式環境，專為在邊緣裝置上部署高效能的跨平台 LLM 而設計。
總覽 開始使用
在 Chrome、Chromebook Plus 和 Pixel Watch 中，透過 LiteRT-LM 使用裝置端生成式 AI。
閱讀更多資訊

為什麼要使用 LiteRT-LM？

在 Android、iOS、網頁和電腦上部署 LLM。
透過 GPU 和 NPU 加速功能，盡量提升效能。
支援熱門 LLM，以及多模態 (Vision、Audio) 和工具使用。

開始建構

Python API，可在 Linux、MacOS、Windows 和 Raspberry Pi 上進行硬體加速。
Python 指南
Android 原生應用程式和以 JVM 為基礎的電腦工具。
Android 指南
原生整合 iOS 和 macOS，並支援專屬的 Metal (Swift API 即將推出)。
C++ 指南
跨平台 C++ API。
C++ 指南

網誌和公告

使用 LiteRT-LM 大規模在穿戴式裝置和瀏覽器平台部署語言模型。
瞭解如何微調 FunctionGemma，並啟用由 LiteRT-LM Tool Use API 支援的函式呼叫功能。
邊緣語言模型的 RAG、多模態和函式呼叫最新洞察資料。

加入社群

貢獻心力給開放原始碼專案、回報問題，以及查看範例。
前往 GitHub 查看
下載預先轉換的模型並加入討論。
在 Hugging Face 查看