Giải pháp Google Cloud của AI Edge để thử nghiệm và đo điểm chuẩn khả năng học máy (ML) trên thiết bị ở quy mô lớn.
Việc tối ưu hoá hiệu suất mô hình học máy trên nhiều thiết bị di động có thể là một thách thức. Thử nghiệm thủ công diễn ra chậm, tốn kém và thường không được hầu hết nhà phát triển sử dụng, dẫn đến sự không chắc chắn về hiệu suất mô hình trong thế giới thực. Google AI Edge Portal giải quyết vấn đề này bằng cách cho phép đo điểm chuẩn mô hình LiteRT trên nhiều thiết bị di động, giúp nhà phát triển tìm ra cấu hình phù hợp nhất để triển khai mô hình học máy quy mô lớn.
Tối ưu hoá việc triển khai ML trên thiết bị di động
Đơn giản hoá và tăng tốc các chu kỳ kiểm thử trên nhiều loại phần cứng: Dễ dàng đánh giá hiệu suất của mô hình trên hàng trăm thiết bị di động tiêu biểu chỉ trong vài phút.
Chủ động đảm bảo chất lượng mô hình và xác định sớm các vấn đề: Xác định chính xác các biến thể hoặc lỗi hiệu suất dành riêng cho phần cứng (chẳng hạn như trên các bộ vi xử lý hoặc thiết bị bị hạn chế về bộ nhớ cụ thể) trước khi triển khai.
Giảm chi phí kiểm thử thiết bị và tiếp cận phần cứng mới nhất: Kiểm thử trên nhiều thiết bị thực (hiện có hơn 100 mẫu thiết bị của nhiều OEM Android) và số lượng thiết bị này không ngừng tăng lên mà không tốn kém và phức tạp như khi duy trì phòng thử nghiệm của riêng bạn.
Đưa ra quyết định sáng suốt dựa trên dữ liệu và thông tin chi tiết về hoạt động kinh doanh: Cổng thông tin AI của Google Edge cung cấp dữ liệu hiệu suất phong phú và thông tin so sánh, mang đến thông tin chi tiết quan trọng về hoạt động kinh doanh cần thiết để tự tin hướng dẫn việc tối ưu hoá mô hình và xác thực mức độ sẵn sàng triển khai.
Ví dụ về điểm chuẩn:
Cách Google AI Edge Portal giúp bạn đo điểm chuẩn cho các mô hình LiteRT
Chọn thiết bị: Chọn thiết bị mục tiêu trong nhóm thiết bị đa dạng của chúng tôi bằng các bộ lọc phần cứng cụ thể, bao gồm cả hỗ trợ NPU, cấp thiết bị, thương hiệu, chipset và RAM. Hoặc bạn có thể dùng các lối tắt do chúng tôi tuyển chọn để truy cập ngay vào danh sách thiết bị phổ biến.
Tạo cấu hình: Chọn giữa các trình tăng tốc CPU, GPU hoặc NPU cho các tác vụ đo điểm chuẩn.
Tuỳ chỉnh nâng cao: Điều chỉnh các chế độ cài đặt dành riêng cho phần cứng cho bộ tăng tốc bạn chọn hoặc tiếp tục với các giá trị mặc định.
Hỗ trợ NPU: Các chức năng tăng tốc phần cứng hiện bao gồm NPU, với hơn 30 thiết bị Qualcomm.
- Biên dịch trước thời gian (AOT): Nên dùng cho hiệu suất ở cấp độ sản xuất, giúp khởi động nhanh hơn đáng kể và giảm mức sử dụng bộ nhớ. Chế độ này yêu cầu cung cấp các mô hình đã biên dịch cho từng SoC riêng biệt trong lựa chọn thiết bị của bạn.
- Biên dịch đúng thời điểm (JIT): Hỗ trợ một mô hình duy nhất để biên dịch trên các thiết bị đã chọn.
Tải mô hình lên: Tải tệp mô hình lên bằng giao diện người dùng hoặc trỏ đến tệp đó trong bộ chứa Google Cloud Storage.
Tạo một công việc đo điểm chuẩn mới trên hơn 100 thiết bị. (Lưu ý: Ảnh GIF được tăng tốc và chỉnh sửa cho ngắn gọn)
Từ đó, hãy gửi yêu cầu và chờ hoàn tất. Khi đã sẵn sàng, hãy khám phá kết quả trong Trang tổng quan tương tác:
So sánh cấu hình: Nhanh chóng hình dung sự khác biệt về các chỉ số hiệu suất (ví dụ: độ trễ trung bình, mức sử dụng bộ nhớ cao nhất) khi sử dụng các trình tăng tốc khác nhau trên tất cả các thiết bị đã thử nghiệm.
Phân tích tác động của thiết bị: Xem hiệu suất của một cấu hình mô hình cụ thể trên phạm vi các thiết bị đã chọn. Sử dụng biểu đồ tần suất và biểu đồ phân tán để nhanh chóng xác định các biến thể về hiệu suất liên quan đến đặc điểm của thiết bị.
Chỉ số chi tiết: Truy cập vào một bảng chi tiết có thể sắp xếp, cho thấy các chỉ số cụ thể (thời gian khởi động, độ trễ suy luận, mức sử dụng bộ nhớ) cho từng thiết bị riêng lẻ, cùng với thông số kỹ thuật phần cứng của thiết bị đó. Xác minh mức sử dụng phần cứng bằng bảng Phân bổ trình tăng tốc. Bảng này cho biết cách các hoạt động của mô hình được phân phối trên các nhân (có sẵn cho CPU và GPU, sắp có hỗ trợ NPU).
Xem Kết quả đo điểm chuẩn trên Trang tổng quan tương tác. (Lưu ý: Ảnh GIF được tăng tốc và chỉnh sửa để ngắn gọn hơn)
Tham gia chương trình dùng thử riêng tư Cổng thông tin AI của Google Edge
Google AI Edge Portal hiện đang ở chế độ xem trước riêng tư dành cho những khách hàng của Google Cloud có trong danh sách cho phép. Trong thời gian xem trước riêng tư này, bạn sẽ được cấp quyền truy cập miễn phí theo các điều khoản xem trước.
Bản xem trước này phù hợp với những nhà phát triển và nhóm đang xây dựng các ứng dụng ML di động bằng LiteRT, cần dữ liệu đo điểm chuẩn đáng tin cậy trên nhiều phần cứng Android và sẵn sàng cung cấp ý kiến phản hồi để giúp định hình tương lai của sản phẩm. Để yêu cầu cấp quyền truy cập, hãy hoàn tất biểu mẫu đăng ký tại đây để bày tỏ sự quan tâm. Quyền truy cập được cấp thông qua danh sách cho phép.