LiteRT với Python rất phù hợp với các thiết bị được nhúng dựa trên Linux, chẳng hạn như Raspberry Pi và Thiết bị san hô có TPU cạnh trong số nhiều yếu tố khác.
Trang này cho biết cách bạn có thể bắt đầu chạy các mô hình LiteRT bằng Python trong chỉ mất vài phút. Tất cả những gì bạn cần là một mô hình TensorFlow được chuyển đổi thành TensorFlow Phiên bản rút gọn. (Nếu chưa chuyển đổi mô hình, bạn có thể thử nghiệm bằng cách sử dụng mô hình được cung cấp cùng với ví dụ được liên kết bên dưới.)
Giới thiệu về gói thời gian chạy LiteRT
Để nhanh chóng bắt đầu thực thi các mô hình LiteRT bằng Python, bạn có thể cài đặt
chỉ có trình thông dịch LiteRT, thay vì tất cả các gói TensorFlow. T4
gọi gói Python đơn giản này là tflite_runtime
.
Gói tflite_runtime
có kích thước chỉ bằng một phần nhỏ của gói tensorflow
đầy đủ
và chứa mã tối thiểu cần thiết để chạy suy luận bằng
LiteRT—chủ yếu là
Interpreter
Lớp Python. Gói nhỏ này là lựa chọn lý tưởng khi tất cả những gì bạn muốn làm là thực thi
.tflite
mô hình và tránh lãng phí dung lượng ổ đĩa bằng thư viện TensorFlow lớn.
Cài đặt LiteRT cho Python
Bạn có thể cài đặt trên Linux bằng pip:
python3 -m pip install tflite-runtime
Nền tảng được hỗ trợ
Các bánh xe Python tflite-runtime
được dựng sẵn và cung cấp sẵn cho những trường hợp này
nền tảng:
- Linux armv7l (ví dụ: Raspberry Pi 2, 3, 4 và Zero 2 chạy Raspberry Pi OS 32 bit)
- Linux aarch64 (ví dụ: Raspberry Pi 3, 4 chạy Debian ARM64)
- Linux x86_64
Nếu muốn chạy mô hình LiteRT trên các nền tảng khác, bạn nên: sử dụng gói TensorFlow đầy đủ, hoặc tạo gói thời gian chạy tflite từ nguồn.
Nếu đang sử dụng TensorFlow bằng TPU San hô, bạn nên thay vào đó, hãy làm theo tài liệu thiết lập san hô thích hợp.
Chạy dự đoán bằng tflite_runtime
Thay vì nhập Interpreter
từ mô-đun tensorflow
, bây giờ bạn cần nhập
nhập từ tflite_runtime
.
Ví dụ: sau khi bạn cài đặt gói ở trên, hãy sao chép và chạy
label_image.py
. Quá trình này sẽ (có thể) không thành công vì bạn không có thư viện tensorflow
. Để khắc phục vấn đề này, hãy chỉnh sửa dòng sau của tệp:
import tensorflow as tf
Vì vậy, thay vào đó, mã có nội dung:
import tflite_runtime.interpreter as tflite
Sau đó thay đổi dòng này:
interpreter = tf.lite.Interpreter(model_path=args.model_file)
Vì vậy, mã có nội dung:
interpreter = tflite.Interpreter(model_path=args.model_file)
Bây giờ, hãy chạy lại label_image.py
. Vậy là xong! Bạn đang thực thi LiteRT
người mẫu.
Tìm hiểu thêm
Để biết thêm thông tin chi tiết về API
Interpreter
, hãy đọc bài viết Tải và chạy mô hình bằng Python.Nếu bạn có Raspberry Pi, hãy xem loạt video về cách chạy tính năng phát hiện đối tượng trên Raspberry Pi bằng LiteRT.
Nếu bạn đang dùng trình tăng tốc học máy san hô, hãy xem Ví dụ về san hô trên GitHub.
Để chuyển đổi các mô hình TensorFlow khác sang LiteRT, hãy đọc về Trình chuyển đổi LiteRT.
Nếu bạn muốn tạo bánh xe
tflite_runtime
, hãy đọc Tạo gói LiteRT Python Wheel