Hệ sinh thái Android bao gồm nhiều loại thiết bị với các đơn vị xử lý thần kinh (NPU) đa dạng. Việc tận dụng những NPU chuyên dụng này có thể tăng tốc đáng kể quá trình suy luận mô hình LiteRT (TFLite) và giảm mức tiêu thụ năng lượng so với việc thực thi CPU hoặc GPU, từ đó nâng cao trải nghiệm người dùng trong các ứng dụng của bạn.
Các nhà cung cấp chip sản xuất NPU cung cấp các đại biểu LiteRT để cho phép ứng dụng của bạn sử dụng phần cứng cụ thể của họ trên thiết bị của mỗi người dùng.
Uỷ quyền trực tiếp cho Qualcomm® AI Engine
Qualcomm® AI Engine Direct Delegate cho phép người dùng chạy các mô hình LiteRT bằng thời gian chạy AI Engine Direct. Uỷ quyền được hỗ trợ bởi API Mạng nơ-ron của Qualcomm.
Bạn có thể dùng Uỷ quyền trực tiếp cho công cụ AI của Qualcomm® trên Maven Central. Để biết thêm thông tin, hãy xem tài liệu về Mạng nơ-ron của Qualcomm.
Sắp ra mắt
Chúng tôi mong được hỗ trợ các đại biểu của những nhà cung cấp sau đây trong những tháng tới:
- Google Pixel
- Samsung System LSI
- Intel
Hãy theo dõi thông tin cập nhật và hướng dẫn thêm về cách sử dụng các uỷ quyền này để khai thác sức mạnh của NPU trong các mô hình LiteRT (TFLite).