将 LiteRT 与 Python 结合使用非常适合基于 Linux 的嵌入式设备, 例如 Raspberry Pi 和 搭载 Edge TPU 的 Coral 设备、 等等。
本页面介绍了如何开始在 Python 代码中 只需几分钟就能完成。您只需要一个已转换为 TensorFlow 的 TensorFlow 模型 Lite。(如果您还没有转换任何模型,可以 使用下面链接的示例中提供的模型进行实验。)
LiteRT 运行时软件包简介
如需快速开始使用 Python 执行 LiteRT 模型,您可以安装
使用 LiteRT 解释器,而不是所有 TensorFlow 软件包。周三
将这个简化的 Python 软件包称为 tflite_runtime
。
tflite_runtime
软件包只是整个 tensorflow
的一小部分
并包含使用 Google Cloud 集成的
LiteRT,主要是
Interpreter
Python 类。如果您只需执行
.tflite
模型,并避免因使用大型 TensorFlow 库而浪费磁盘空间。
安装 Python 版 LiteRT
您可以使用 pip 在 Linux 上安装:
python3 -m pip install tflite-runtime
支持的平台
tflite-runtime
Python 开发轮已预先构建,
平台:
- Linux armv7l(例如运行 Raspberry Pi 操作系统的 Raspberry Pi 2、3、4 和 Zero 2 32 位)
- Linux aarch64(例如,运行 Debian ARM64 的 Raspberry Pi 3、4)
- Linux x86_64
如果您想在其他平台上运行 LiteRT 模型,您应该: 使用完整的 TensorFlow 软件包,或 从源代码构建 tflite-runtime 软件包。
如果您要将 TensorFlow 与 Coral Edge TPU 搭配使用,您应该: 改为按照相应的 Coral 设置文档进行操作。
使用 tflite_runtime 运行推理
现在,您不需要从 tensorflow
模块导入 Interpreter
,而是需要
从 tflite_runtime
导入。
例如,安装上述软件包后,请复制并运行
label_image.py
文件。它可能会失败,因为您没有 tensorflow
库
已安装。要解决此问题,请修改该文件的下面这行内容:
import tensorflow as tf
因此,它显示为:
import tflite_runtime.interpreter as tflite
然后,将以下代码行:
interpreter = tf.lite.Interpreter(model_path=args.model_file)
因此显示如下:
interpreter = tflite.Interpreter(model_path=args.model_file)
现在,再次运行 label_image.py
。大功告成!您现在正在执行 LiteRT
模型。
了解详情
如需详细了解
Interpreter
API,请参阅 在 Python 中加载并运行模型。如果你使用的是 Raspberry Pi,请观看此视频系列 如何使用 LiteRT 在 Raspberry Pi 上运行对象检测。
如果您使用的是 Coral ML 加速器,请查看 GitHub 上的 Coral 示例。
如需将其他 TensorFlow 模型转换为 LiteRT,请参阅 LiteRT 转换器。
如果您想组建
tflite_runtime
轮盘,请阅读以下内容 构建 LiteRT Python Wheel 软件包