LiteRT: Khung học máy hiệu suất cao trên thiết bị | Google AI Edge

Giới thiệu Google AI Edge Portal: Đo điểm chuẩn AI trên thiết bị Edge trên quy mô lớn. Đăng ký để yêu cầu quyền truy cập trong bản xem trước riêng tư.

LiteRT là khung trên thiết bị của Google để triển khai ML và AI tạo sinh hiệu suất cao trên các nền tảng biên.

Lượt chuyển đổi, thời gian chạy và hoạt động tối ưu hoá hiệu quả cho công nghệ học máy trên thiết bị.

Được xây dựng dựa trên nền tảng đã được kiểm chứng của TensorFlow Lite

LiteRT không chỉ là một công cụ mới mà còn là thế hệ tiếp theo của thời gian chạy học máy được triển khai rộng rãi nhất trên thế giới. Nền tảng này hỗ trợ các ứng dụng bạn sử dụng hằng ngày, mang đến độ trễ thấp và quyền riêng tư cao trên hàng tỷ thiết bị.

Được các ứng dụng quan trọng nhất của Google tin dùng

Hơn 100.000 ứng dụng, hàng tỷ người dùng trên toàn cầu

Điểm nổi bật của LiteRT

Sẵn sàng hoạt động trên nhiều nền tảng

Khai thác AI tạo sinh

Đơn giản hoá tính năng tăng tốc phần cứng

Hỗ trợ nhiều khung

Triển khai thông qua LiteRT

Đơn giản hoá quy trình học sâu từ việc huấn luyện đến triển khai trên thiết bị.

1.Lấy một mô hình

Sử dụng các mô hình được huấn luyện trước .tflite hoặc chuyển đổi các mô hình PyTorch, JAX hoặc TensorFlow sang .tflite.

Tìm hiểu về lượt chuyển đổi

2.Tối ưu hoá

Sử dụng bộ công cụ tối ưu hoá LiteRT để lượng tử hoá các mô hình sau khi huấn luyện.

Khám phá giải pháp tối ưu hoá

3.Chạy

Triển khai mô hình của bạn bằng LiteRT và chọn bộ tăng tốc tối ưu cho ứng dụng.

Xem mục tiêu triển khai

Chọn lộ trình phát triển

Sử dụng LiteRT để triển khai AI ở mọi nơi – từ các ứng dụng di động hiệu suất cao đến các thiết bị IoT bị hạn chế về tài nguyên.

Người dùng TFLite hiện tại

Chuyển sang LiteRT để tận dụng hiệu suất nâng cao và API hợp nhất trên nhiều nền tảng (Android, Máy tính, Web).

BYOM : Mang theo mô hình của riêng bạn

Có một mô hình PyTorch và muốn triển khai các trải nghiệm về thị giác hoặc âm thanh trên thiết bị.

Triển khai mô hình AI tạo sinh

Tạo chatbot tinh vi trên thiết bị bằng cách sử dụng các mô hình AI tạo sinh có trọng số mở được tối ưu hoá như Gemma hoặc một mô hình có trọng số mở khác.