開放原始碼推論架構，可用於正式環境，專為在邊緣裝置上部署高效能的跨平台 LLM 而設計。
總覽 開始使用

焦點內容

運用 Gemma 4，在邊緣裝置上提供最先進的代理能力。
閱讀更多資訊

為什麼要使用 LiteRT-LM？

在 Android、iOS、網頁和電腦上部署 LLM。
透過 GPU 和 NPU 加速功能，盡量提升效能。
支援熱門 LLM，以及多模態 (Vision、Audio) 和工具使用。

開始建構

Python API，可在 Linux、MacOS、Windows 和 Raspberry Pi 上進行硬體加速。
Python 指南
Android 原生應用程式和以 JVM 為基礎的電腦工具。
Android 指南
原生整合 iOS 和 macOS，並支援專屬的 Metal (Swift API 即將推出)。
C++ 指南
跨平台 C++ API。
C++ 指南

加入社群

貢獻心力給開放原始碼專案、回報問題，以及查看範例。
前往 GitHub 查看
下載預先轉換的模型 (Gemma、Qwen 等)，並加入討論。
在 Hugging Face 查看

網誌和公告

使用 LiteRT-LM 在應用程式內和更廣泛的裝置上部署 Gemma 4，提供出色的效能和觸及率。
使用 LiteRT-LM 大規模在穿戴式裝置和瀏覽器平台部署語言模型。
瞭解如何微調 FunctionGemma，並啟用由 LiteRT-LM Tool Use API 支援的函式呼叫功能。
邊緣語言模型的 RAG、多模態和函式呼叫最新洞察資料。