Xây dựng mô hình LiteRT

Trang này cung cấp hướng dẫn về cách tạo mô hình TensorFlow bằng ý định chuyển đổi sang định dạng mô hình LiteRT. Máy các mô hình học máy (ML) mà bạn sử dụng với LiteRT ban đầu được xây dựng và được huấn luyện bằng các công cụ và thư viện lõi TensorFlow. Sau khi xây dựng xong mô hình bằng lõi TensorFlow, bạn có thể chuyển đổi nó thành một mô hình học máy nhỏ hơn, hiệu quả hơn được gọi là mô hình LiteRT.

Nếu bạn đã có mô hình để chuyển đổi, hãy xem phần Chuyển đổi mô hình tổng quan để xem hướng dẫn về cách chuyển đổi mô hình.

Xây dựng mô hình của bạn

Nếu đang xây dựng mô hình tuỳ chỉnh cho trường hợp sử dụng cụ thể của mình, bạn nên bắt đầu bằng việc phát triển và huấn luyện một mô hình TensorFlow hoặc mở rộng một mô hình hiện có.

Các hạn chế thiết kế mô hình

Trước khi bắt đầu quá trình phát triển mô hình, bạn nên nắm được các hạn chế đối với mô hình LiteRT và xây dựng mô hình của bạn bằng các hạn chế như sau:

  • Khả năng điện toán hạn chế – So với các máy chủ được trang bị đầy đủ nhiều CPU, dung lượng bộ nhớ cao và các bộ xử lý chuyên dụng như GPU và TPU, thiết bị di động và thiết bị Edge bị hạn chế nhiều hơn. Trong khi tăng trưởng về sức mạnh điện toán và khả năng tương thích với phần cứng chuyên biệt, các mô hình và dữ liệu mà bạn có thể xử lý hiệu quả bằng các công cụ này vẫn còn tương đối hạn chế.
  • Quy mô của mô hình – Độ phức tạp tổng thể của mô hình, bao gồm cả dữ liệu logic trước xử lý và số lượng lớp trong mô hình, làm tăng kích thước trong bộ nhớ của một mô hình. Một mô hình lớn có thể chạy với tốc độ chậm không thể chấp nhận được hoặc đơn giản có thể không vừa trong bộ nhớ có sẵn của thiết bị di động hoặc thiết bị cạnh.
  • Kích thước dữ liệu – Kích thước của dữ liệu đầu vào có thể được xử lý hiệu quả bằng mô hình học máy bị giới hạn trên thiết bị di động hoặc thiết bị cạnh. Mô hình dùng các thư viện dữ liệu lớn như thư viện ngôn ngữ, thư viện hình ảnh hoặc thư viện đoạn video có thể không vừa trên các thiết bị này và có thể cần bộ nhớ ngoài thiết bị và truy cập.
  • Các thao tác TensorFlow được hỗ trợ – Môi trường thời gian chạy LiteRT hỗ trợ một số hoạt động của mô hình học máy so với Mô hình TensorFlow. Khi phát triển một mô hình để sử dụng với LiteRT, bạn phải theo dõi khả năng tương thích của mô hình so với khả năng của Môi trường thời gian chạy LiteRT.

Để biết thêm thông tin về cách tạo các mô hình hiệu quả, tương thích và có hiệu suất cao cho LiteRT, xem Các phương pháp hay nhất về hiệu suất.

Phát triển mô hình

Để xây dựng mô hình LiteRT, trước tiên bạn cần xây dựng một mô hình bằng Các thư viện lõi TensorFlow. Các thư viện lõi TensorFlow là cấp thấp hơn các thư viện cung cấp API để xây dựng, huấn luyện và triển khai các mô hình ML.

Quy trình tạo bản dựng TFLite

TensorFlow cung cấp hai cách để làm việc này. Bạn có thể phát triển chiến lược tuỳ chỉnh mã mô hình hoặc bạn có thể bắt đầu bằng việc triển khai mô hình có sẵn trong Vườn mô hình TensorFlow.

Model Garden

Vườn mô hình TensorFlow cung cấp nhiều phương pháp tiên tiến các mô hình học máy (ML) để xử lý thị giác và ngôn ngữ tự nhiên (NLP). Bạn cũng sẽ tìm thấy các công cụ quy trình làm việc giúp bạn nhanh chóng định cấu hình và chạy những công cụ đó trên các tập dữ liệu tiêu chuẩn. Các mô hình học máy trong Model Garden bao gồm mã đầy đủ để bạn có thể kiểm tra, đào tạo hoặc đào tạo lại họ bằng cách sử dụng tập dữ liệu.

Cho dù bạn đang muốn đo điểm chuẩn hiệu suất cho một mô hình nổi tiếng, hãy xác minh kết quả của nghiên cứu được phát hành gần đây hoặc mở rộng các mô hình hiện có, Mô hình Vườn có thể giúp bạn đạt được các mục tiêu về công nghệ học máy.

Mô hình tuỳ chỉnh

Nếu trường hợp sử dụng của bạn nằm ngoài trường hợp sử dụng được mô hình trong Model Garden hỗ trợ, bạn có thể dùng một thư viện cấp cao như Keras để phát triển mã huấn luyện tuỳ chỉnh của bạn. Để tìm hiểu kiến thức cơ bản về TensorFlow, hãy xem Hướng dẫn dành cho TensorFlow. Để bắt đầu sử dụng ví dụ: xem các hướng dẫn trên TensorFlow tổng quan chứa con trỏ đến bắt đầu đến hướng dẫn cấp chuyên gia.

Đánh giá mô hình

Sau khi phát triển mô hình, bạn nên đánh giá hiệu suất và kiểm thử trên thiết bị của người dùng cuối. TensorFlow cung cấp một số cách để làm việc này.

  • TensorBoard là công cụ cung cấp các số liệu đo lường và trực quan hoá cần thiết trong thời gian quy trình công việc của công nghệ học máy. Công cụ này cho phép theo dõi các chỉ số thử nghiệm như số lượt ngừng sử dụng và độ chính xác, trực quan hoá biểu đồ mô hình, chiếu các mục nhúng xuống không gian và hơn thế nữa.
  • Công cụ đo điểm chuẩn có sẵn cho từng công cụ được hỗ trợ nền tảng như ứng dụng điểm chuẩn của Android và ứng dụng điểm chuẩn iOS. Sử dụng các công cụ này để đo lường và tính toán số liệu thống kê cho hiệu suất quan trọng chỉ số.

Tối ưu hoá mô hình

Với những quy tắc ràng buộc đối với những tài nguyên dành riêng cho TensorFlow Mô hình thu gọn, hoạt động tối ưu hoá mô hình có thể giúp đảm bảo hiệu suất của mô hình và sử dụng ít tài nguyên điện toán hơn. Hiệu suất của mô hình học máy thường là cân bằng giữa kích thước và tốc độ suy luận so với độ chính xác. LiteRT hiện đang hỗ trợ tối ưu hoá thông qua lượng tử hoá, cắt giảm và phân cụm. Xem chủ đề tối ưu hoá mô hình để biết thêm thông tin về kỹ thuật. TensorFlow cũng cung cấp công cụ Tối ưu hoá mô hình bộ công cụ cung cấp API triển khai kỹ thuật.

Các bước tiếp theo