构建 LiteRT 模型

本页将指导您使用 转换为 LiteRT 模型格式。机器 你通过 LiteRT 使用的机器学习 (ML) 模型最初是 使用 TensorFlow 核心库和工具进行训练。构建好模型后, 您可以基于 TensorFlow Core 将其转换为更小、更高效的机器学习模型, 称为 LiteRT 模型。

如果您已有要转换的模型,请参阅转换模型 概览页面,获取有关转换模型的指导。

构建模型

如果要针对特定应用场景构建自定义模型,应该先开始 开发和训练 TensorFlow 模型或扩展现有模型。

模型设计限制

在开始模型开发流程之前,您应该了解 并使用这些 LLM 构建您的模型 注意事项:

  • 计算能力有限 - 与配备齐全、 多个 CPU、高内存容量和专用处理器(如 GPU) 移动设备和边缘设备所受到的限制要大得多。虽然 计算能力和专用硬件兼容性不断提升,这些模型 但可利用这些数据进行有效处理的数据仍然相当有限。
  • 模型大小 - 模型的总体复杂性,包括数据 预处理逻辑和模型中的层数都会增加 模型的内存中大小。大型模型的运行速度可能会令人无法接受, 可能无法放入移动设备或边缘设备的可用内存。
  • 数据大小 - 可有效处理的输入数据的大小 且在移动设备或边缘设备上受到限制。模型 使用大型数据库(如语言库、图像库和 或视频剪辑库可能不适合这些设备,并且可能需要 设备端存储和访问解决方案
  • 支持的 TensorFlow 操作 - LiteRT 运行时环境 与常规模型相比,支持一部分机器学习模型操作 TensorFlow 模型。在开发用于 LiteRT 的模型时, 应跟踪模型与 LiteRT 运行时环境。

如需详细了解如何针对 Google Cloud 运维套件构建高效、兼容 LiteRT,请参阅性能最佳实践

模型开发

要构建 LiteRT 模型,您首先需要使用 TensorFlow 核心库。TensorFlow Core 库是 库,这些库提供用于构建、训练和部署机器学习模型的 API。

TFLite 构建工作流

TensorFlow 提供了两种实现此目的的方法。您可以开发自己的自定义 也可以从 TensorFlow Model Garden

Model Garden

TensorFlow Model Garden 提供了许多 机器学习 (ML) 模型来实现视觉和自然语言处理 (NLP)。 您还可以找到一些工作流工具,利用这些工具快速配置和运行这些 模型。Model Garden 中的机器学习模型 包含完整代码,以便使用自己的语言对其进行测试、训练或重新训练 数据集。

无论您是想对已知模型的性能进行基准测试,请验证 或扩展现有模型, Garden 可以帮助您实现机器学习目标。

自定义模型

如果您的用例不在 Model Garden 中的模型支持的用例之外, 则可以使用 Keras 等高级库来开发 自定义训练代码。要了解 TensorFlow 的基础知识,请参阅 TensorFlow 指南。要开始使用 请参阅 TensorFlow 教程 概览,其中包含指向 和专家级的教程。

模型评估

开发模型后,您应评估其性能并测试 最终用户设备上的内容TensorFlow 提供了多种方法来实现此目的。

  • TensorBoard 是一种工具,用于提供实验期间所需的测量和可视化 机器学习工作流。它支持跟踪实验指标,例如损失 直观呈现模型图、将嵌入投影到 维度空间等等。
  • 基准化分析工具适用于每种受支持的 例如 Android 基准应用和 iOS 基准应用。使用 这些工具可以衡量和计算重要广告效果的统计信息 指标。

模型优化

对特定于 TensorFlow 的资源施加限制 Lite 模型,模型优化有助于确保模型性能良好 而且使用的计算资源更少机器学习模型的性能 推理规模、速度与准确性之间的平衡。LiteRT 目前支持通过量化、剪枝和聚类进行优化。请参阅 模型优化主题,详细了解这些概念 技术。TensorFlow 还提供了模型优化功能, 工具包提供了一个用于实现这些 API 的 API, 技术。

后续步骤

  • 如需开始构建自定义模型,请参阅新手快速入门 请参阅 TensorFlow 核心文档
  • 如需转换自定义 TensorFlow 模型,请参阅转换模型 概览
  • 请参阅运算符兼容性指南,以确定 您的模型是否兼容 LiteRT,或者您需要 执行额外的步骤来使其兼容
  • 如需获得以下方面的指导,请参阅性能最佳实践指南: 提高 LiteRT 模型的效率和性能。
  • 请参阅效果指标指南,了解如何衡量 使用基准化分析工具来评估模型的性能。