高效的转化、运行时和优化,适用于设备端机器学习。
LiteRT 不仅是新产品,还是全球部署最广泛的机器学习运行时的新一代产品。它为数以十亿计的设备提供支持,让您每天使用的应用能够以低延迟和高隐私保护的方式运行。

深受最关键的 Google 应用的信赖

超过 10 万款应用,数十亿全球用户

LiteRT 亮点

通过 LiteRT 部署

简化从训练到设备端部署的深度学习工作流程。
使用 .tflite 预训练模型,或将 PyTorch、JAX 或 TensorFlow 模型转换为 .tflite。
使用 LiteRT 优化工具包在训练后量化模型。
使用 LiteRT 部署模型,并为应用选择最佳加速器。

选择您的开发路径

使用 LiteRT 将 AI 部署到任何地方,从高性能移动应用到资源受限的 IoT 设备。
迁移到 LiteRT,以利用增强的性能和跨平台(Android、桌面设备、Web)的统一 API。
拥有 PyTorch 模型,希望实现设备端视觉或音频体验。
使用经过优化的开放权重生成式 AI 模型(例如 Gemma 或其他开放权重模型)创建复杂的设备端聊天机器人。
编写自定义模型或针对特定硬件 CPU/GPU/NPU 进行深度优化,以实现最佳性能。

示例、模型和演示

经过预先训练的开箱即用生成式 AI 模型。
一个展示使用 LiteRT 的设备端 ML/GenAI 用例的库。

博客和公告

及时了解 LiteRT 团队发布的最新公告、深度技术研究和性能基准。
Google 的统一设备端机器学习框架,从 TFLite 演变而来,可实现高性能部署。
将 NPU 加速支持扩展到 MediaTek 芯片组,以实现高效的 AI。
在 Qualcomm 神经处理单元上实现生成式 AI 的突破性性能。
推出 CompiledModel API,用于自动选择硬件和异步执行。
使用 LiteRT-LM 在穿戴式设备和基于浏览器的平台上部署语言模型。
有关边缘端语言模型的 RAG、多模态和函数调用的最新见解

加入社群

直接为项目做出贡献,并与核心开发者协作。
在 Hugging Face Hub 上访问优化后的开放权重模型。
准备好让设备端 ML 更上一层楼了吗?探索相关文档,立即开始构建。