Google Tensor (EdgeTPU) có LiteRT

Google Tensor là một Hệ thống trên vi mạch (SoC) được thiết kế riêng để chạy các mô hình AI trên điện thoại Google Pixel. Tensor được tối ưu hoá để có hiệu suất tính toán và mức tiêu thụ năng lượng tối thiểu. Công nghệ này sử dụng một bộ tăng tốc suy luận học máy chuyên dụng có tên là TPU (Tensor Processing Unit), có thể truy cập thông qua Google Tensor SDK.

Đăng ký để có quyền truy cập vào Google Tensor SDK Beta

Google Tensor SDK là một bộ phát triển phần mềm được tạo ra để tối ưu hoá hoạt động học máy trên thiết bị cho điện thoại Google Pixel bằng cách sử dụng Tensor SoC (Hệ thống trên vi mạch) tuỳ chỉnh và bộ tăng tốc suy luận TPU chuyên dụng. SDK này cung cấp một bộ công cụ toàn diện giúp nhà phát triển truy cập vào các mô hình nguồn mở được tuyển chọn trong Model Garden. Bộ công cụ này cũng cho phép biên dịch các mô hình thành các định dạng tương thích với TPU.

 Đăng ký

Các tính năng chính

  • Quyền truy cập trực tiếp vào phần cứng TPU chuyên dụng để suy luận hiệu quả về học máy trên các thiết bị Pixel.
  • Các mô hình nguồn mở được tuyển chọn và tối ưu hoá cho SDK trong Model Garden.

Thiết lập môi trường phát triển

Sau đây là các thông số kỹ thuật về phần cứng và phần mềm bắt buộc, cũng như các điều kiện tiên quyết để sử dụng Google Tensor SDK:

Phần cứng

  • Một máy trạm phát triển cục bộ sử dụng hệ điều hành dựa trên Linux với kiến trúc x86_64.
    • Lưu ý: Để xác định cấu trúc của máy trạm, bạn có thể sử dụng lệnh uname -m hoặc một công cụ chẩn đoán tương tự.
  • Bạn phải có RAM tối thiểu 16 GB.
    Dung lượng RAM cụ thể cần thiết để sử dụng SDK phụ thuộc vào kích thước đầu vào của mô hình. Để có dữ liệu đầu vào đáng kể hơn, bạn nên dùng RAM tối thiểu 64 GB.

Phần mềm

  • Hệ điều hành: Ubuntu 22.04 LTS
  • Hệ thống xây dựng: Bazel 7.4.1
  • SDK Android: cấp độ API 34 (Android 14)
  • Android NDK: Hỗ trợ API cấp 28 (Android 9 Pie)

  • (Không bắt buộc) Python 3.11.0

  • Cầu gỡ lỗi Android (adb)

Điều kiện tiên quyết

  • (Không bắt buộc) Một Dự án Google Cloud (GCP) đã được nhóm Tensor SDK cấp quyền truy cập vào các thiết bị Pixel từ xa. Để được hướng dẫn về cách tạo dự án trên đám mây của Google Cloud, hãy tham khảo bài viết Tạo và quản lý dự án.

  • (Không bắt buộc) Bản sao đã tải xuống của efficientnet_b0.tflite

SoC được hỗ trợ

Google Tensor SDK hỗ trợ các SoC sau:

  • Google Tensor G5 (Tensor_G5)

Các bước tiếp theo

  1. Làm theo các bước chuyển đổi và triển khai trong NPU acceleration with LiteRT (Tăng tốc NPU bằng LiteRT), chọn Google Tensor nếu có thể.

  2. Đối với các mô hình ngôn ngữ, hãy xem phần Thực thi LLM trên NPU bằng LiteRT-LM.