使用 LiteRT-LM 在设备端运行 LLM
一款可用于生产环境的开源推理框架，旨在在边缘设备上实现高性能、跨平台的 LLM 部署
为什么选择 LiteRT-LM？
跨平台
在 Android、iOS、Web 和桌面设备上部署 LLM。
硬件加速
利用 GPU 和 NPU 加速功能最大限度地提升性能。
广泛的生成式 AI 功能
支持热门 LLM，以及多模态（视觉、音频）和工具使用。
支持的模型
运行针对边缘设备优化的最新开放模型，包括 Gemma-3n、Gemma-3、FunctionGemma、TranslateGemma、Qwen3、Phi-4 等。
加入社群
GitHub
贡献源代码、报告问题并查看示例。
Hugging Face
下载预转换模型并加入讨论。