Thực thể đại diện LiteRT cho NPU

Hệ sinh thái Android bao gồm nhiều thiết bị có nhiều đơn vị xử lý thần kinh (NPU). Việc tận dụng các NPU chuyên biệt này có thể tăng tốc đáng kể quá trình suy luận mô hình LiteRT (TFLite) và giảm mức tiêu thụ năng lượng so với khi thực thi CPU hoặc GPU, giúp nâng cao trải nghiệm người dùng trong ứng dụng.

Các nhà cung cấp chip sản xuất NPU cung cấp các đại diện LiteRT để cho phép ứng dụng của bạn sử dụng phần cứng cụ thể của họ trên thiết bị của từng người dùng.

Qualcomm® AI Engine Direct Delegate

Qualcomm® AI Engine Direct Delegate cho phép người dùng chạy các mô hình LiteRT bằng thời gian chạy AI Engine Direct. Phương thức uỷ quyền này được hỗ trợ bởi API mạng nơron của Qualcomm.

Qualcomm® AI Engine Direct Delegate có trên Maven Central. Để biết thêm thông tin, hãy xem tài liệu về Mạng nơron Qualcomm.

Sắp có

Chúng tôi rất mong được hỗ trợ các đại biểu của các nhà cung cấp sau đây trong những tháng tới:

• Google Pixel
• MediaTek
• Samsung System LSI

Hãy theo dõi để biết thông tin cập nhật và hướng dẫn thêm về cách sử dụng các đối tượng uỷ quyền này để khai thác sức mạnh của NPU trong các mô hình TFLite.