開放原始碼推論架構，可用於正式環境，專為在邊緣裝置上部署高效能的跨平台 LLM 而設計。
總覽 開始使用

焦點內容

請參閱最新網誌文章，瞭解 LiteRT-LM 如何大幅提升裝置端生成式 AI 部署作業的效能，並透過新加入的 Swift、JavaScript 和 Flutter API，以驚人的速度和效率充分發揮 Gemma 4 的潛力。
網誌文章 總覽

為什麼要使用 LiteRT-LM？

在 Android、iOS、網頁和電腦上部署 LLM。
透過 GPU 和 NPU 加速功能，盡量提升效能。
支援熱門 LLM，以及多模態 (Vision、Audio) 和工具使用。

開始建構

Python API，可在 Linux、MacOS、Windows 和 Raspberry Pi 上進行硬體加速。
Python 指南
Android 原生應用程式和以 JVM 為基礎的電腦工具。
Android 指南
原生 iOS (即將支援 macOS) Swift API。
Swift 指南
適用於瀏覽器型網頁應用程式的 JavaScript 和 TypeScript API，並透過 WebGPU 加速。
Web Guide
使用社群維護的 flutter_gemma 套件，建構跨平台 Flutter 應用程式。
Flutter 指南
跨平台 C++ API。
C++ 指南
從轉換後的 LiteRT 模型建構 .litertlm 檔案。
檔案建構工具指南

加入社群

貢獻心力給開放原始碼專案、回報問題，以及查看範例。
前往 GitHub 查看
下載預先轉換的模型 (Gemma、Qwen 等)，並加入討論。
在 Hugging Face 查看

網誌和公告

在行動 GPU 上體驗超過 2 倍的解碼速度，且畫質不會降低。
使用 LiteRT-LM 在應用程式內和更廣泛的裝置上部署 Gemma 4，提供出色的效能和觸及率。
使用 LiteRT-LM 大規模在穿戴式裝置和瀏覽器平台部署語言模型。
瞭解如何微調 FunctionGemma，並啟用由 LiteRT-LM Tool Use API 支援的函式呼叫功能。
邊緣語言模型的 RAG、多模態和函式呼叫最新洞察資料。