一款可用于生产用途的开源推理框架，旨在在边缘设备上实现高性能、跨平台的 LLM 部署。
概览 开始使用
在 Chrome、Chromebook Plus 和 Pixel Watch 中使用 LiteRT-LM 的设备端 GenAI。
了解详情

为什么选择 LiteRT-LM？

在 Android、iOS、Web 和桌面设备上部署 LLM。
利用 GPU 和 NPU 加速功能最大限度地提升性能。
支持热门 LLM，以及多模态（视觉、音频）和工具使用。

开始构建

在 Linux、MacOS、Windows 和 Raspberry Pi 上使用硬件加速的 Python API。
Python 指南
原生 Android 应用和基于 JVM 的桌面工具。
Android 指南
原生 iOS 和 macOS 集成，提供专门的 Metal 支持（Swift API 即将推出）。
C++ 指南
跨平台 C++ API。
C++ 指南

博客和公告

使用 LiteRT-LM 在穿戴式设备和基于浏览器的平台上大规模部署语言模型。
了解如何对 FunctionGemma 进行微调，并启用由 LiteRT-LM 工具使用 API 提供支持的函数调用功能。
有关边缘端语言模型的 RAG、多模态和函数调用的最新见解。

加入社群

为开源项目做出贡献、报告问题并查看示例。
在 GitHub 上查看
下载预转换模型并加入讨论。
在 Hugging Face 上查看