AI Edge Torch GenAI (AI tạo sinh) API là một thư viện được tối ưu hoá cho thiết bị di động để chuyển đổi các mô hình PyTorch dựa trên biến áp thành định dạng LiteRT, cho phép bạn chuyển đổi các Mô hình ngôn ngữ lớn (LLM) cho tạo hình ảnh và văn bản trên thiết bị bằng LiteRT và MediaPipe. AI Edge Torch Generative API hiện chỉ dành cho CPU, có hỗ trợ GPU và NPU theo kế hoạch.
Nhà phát triển ứng dụng di động có thể sử dụng API tạo sinh của Edge để tích hợp các mô hình ngôn ngữ lớn (LLM) PyTorch với phép suy luận LLM MediaPipe API để tạo những ứng dụng chạy các mô hình PyTorch đã chuyển đổi đó hoàn toàn trên thiết bị.
Để biết thêm thông tin, hãy xem Generative Torch API GitHub kho lưu trữ.