使用 LiteRT-LM 在裝置上執行 LLM
開放原始碼推論架構，可用於正式環境，專為在邊緣裝置上部署高效能的跨平台 LLM 而設計
為什麼要使用 LiteRT-LM？
跨平台
在 Android、iOS、網頁和電腦上部署 LLM。
硬體加速
透過 GPU 和 NPU 加速功能，盡量提升效能。
廣泛的生成式 AI 功能
支援熱門 LLM，以及多模態 (Vision、Audio) 和工具使用。
支援的型號
執行針對邊緣裝置最佳化的最新開放式模型，包括 Gemma-3n、Gemma-3、FunctionGemma、TranslateGemma、Qwen3、Phi-4 等。
加入社群
GitHub
提供原始碼、回報問題及查看範例。
Hugging Face
下載預先轉換的模型並加入討論。