Bắt đầu nhanh cho các thiết bị chạy Linux bằng Python

LiteRT với Python rất phù hợp với các thiết bị được nhúng dựa trên Linux, chẳng hạn như Raspberry Pi và Thiết bị san hô có TPU cạnh trong số nhiều yếu tố khác.

Trang này cho biết cách bạn có thể bắt đầu chạy các mô hình LiteRT bằng Python trong chỉ mất vài phút. Tất cả những gì bạn cần là một mô hình TensorFlow được chuyển đổi thành TensorFlow Phiên bản rút gọn. (Nếu chưa chuyển đổi mô hình, bạn có thể thử nghiệm bằng cách sử dụng mô hình được cung cấp cùng với ví dụ được liên kết bên dưới.)

Giới thiệu về gói thời gian chạy LiteRT

Để nhanh chóng bắt đầu thực thi các mô hình LiteRT bằng Python, bạn có thể cài đặt chỉ có trình thông dịch LiteRT, thay vì tất cả các gói TensorFlow. T4 gọi gói Python đơn giản này là tflite_runtime.

Gói tflite_runtime có kích thước chỉ bằng một phần nhỏ của gói tensorflow đầy đủ và chứa mã tối thiểu cần thiết để chạy suy luận bằng LiteRT—chủ yếu là Interpreter Lớp Python. Gói nhỏ này là lựa chọn lý tưởng khi tất cả những gì bạn muốn làm là thực thi .tflite mô hình và tránh lãng phí dung lượng ổ đĩa bằng thư viện TensorFlow lớn.

Cài đặt LiteRT cho Python

Bạn có thể cài đặt trên Linux bằng pip:

python3 -m pip install tflite-runtime

Nền tảng được hỗ trợ

Các bánh xe Python tflite-runtime được dựng sẵn và cung cấp sẵn cho những trường hợp này nền tảng:

  • Linux armv7l (ví dụ: Raspberry Pi 2, 3, 4 và Zero 2 chạy Raspberry Pi OS 32 bit)
  • Linux aarch64 (ví dụ: Raspberry Pi 3, 4 chạy Debian ARM64)
  • Linux x86_64

Nếu muốn chạy mô hình LiteRT trên các nền tảng khác, bạn nên: sử dụng gói TensorFlow đầy đủ, hoặc tạo gói thời gian chạy tflite từ nguồn.

Nếu đang sử dụng TensorFlow bằng TPU San hô, bạn nên thay vào đó, hãy làm theo tài liệu thiết lập san hô thích hợp.

Chạy dự đoán bằng tflite_runtime

Thay vì nhập Interpreter từ mô-đun tensorflow, bây giờ bạn cần nhập nhập từ tflite_runtime.

Ví dụ: sau khi bạn cài đặt gói ở trên, hãy sao chép và chạy label_image.py . Quá trình này sẽ (có thể) không thành công vì bạn không có thư viện tensorflow . Để khắc phục vấn đề này, hãy chỉnh sửa dòng sau của tệp:

import tensorflow as tf

Vì vậy, thay vào đó, mã có nội dung:

import tflite_runtime.interpreter as tflite

Sau đó thay đổi dòng này:

interpreter = tf.lite.Interpreter(model_path=args.model_file)

Vì vậy, mã có nội dung:

interpreter = tflite.Interpreter(model_path=args.model_file)

Bây giờ, hãy chạy lại label_image.py. Vậy là xong! Bạn đang thực thi LiteRT người mẫu.

Tìm hiểu thêm