API tạo đèn pin AI Edge là thư viện được tối ưu hoá cho thiết bị di động để chuyển đổi các mô hình PyTorch dựa trên Transformer sang định dạng TF Lite, cho phép bạn chuyển đổi Mô hình ngôn ngữ lớn (LLM) để tạo văn bản và hình ảnh trên thiết bị bằng TF Lite và MediaPipe. AI Edge Torch Generative API hiện chỉ dành cho CPU, đồng thời có hỗ trợ GPU và NPU theo kế hoạch.
Nhà phát triển ứng dụng dành cho thiết bị di động có thể sử dụng Edge Generative API để tích hợp các LLM PyTorch với MediaPipe LLM Inference API nhằm tạo các ứng dụng chạy các mô hình PyTorch đã chuyển đổi đó hoàn toàn trên thiết bị.
Để biết thêm thông tin, hãy xem kho lưu trữ GitHub của Generative Torch API.