Chuyển đổi các mô hình AI tạo sinh PyTorch để suy luận trên thiết bị

AI Edge Torch Generative API là một thư viện hiệu suất cao được thiết kế để tạo và chuyển đổi các mô hình PyTorch dựa trên biến đổi thành định dạng LiteRT/LiteRT-LM. Điều này giúp các nhà phát triển dễ dàng triển khai các mô hình AI tạo sinh, đặc biệt là các Mô hình ngôn ngữ lớn (LLM), để tạo văn bản và hình ảnh trên thiết bị một cách liền mạch.

Torch Generative API hỗ trợ chuyển đổi mô hình để thực thi CPU và GPU, đồng thời hỗ trợ NPU trong quá trình phát triển. Bằng cách ghép nối Torch Generative API với LiteRT-LM, bạn có thể tạo các ứng dụng phản hồi nhanh, tập trung vào quyền riêng tư và chạy các mô hình tạo sinh hoàn toàn trên thiết bị.

Để biết thêm thông tin, hãy xem kho lưu trữ GitHub của Generative Torch API.