Chạy LLM trên thiết bị bằng LiteRT-LM
Khung suy luận nguồn mở, sẵn sàng cho hoạt động sản xuất, được thiết kế để cung cấp các hoạt động triển khai LLM hiệu suất cao, đa nền tảng trên các thiết bị biên
Tại sao nên dùng LiteRT-LM?
Nhiều nền tảng
Triển khai LLM trên Android, iOS, Web và máy tính.
Được tăng tốc bằng phần cứng
Tối đa hoá hiệu suất bằng tính năng tăng tốc GPU và NPU.
Nhiều chức năng AI tạo sinh
Hỗ trợ các LLM phổ biến cũng như đa phương thức (Thị giác, Âm thanh) và Sử dụng công cụ.
Mô hình được hỗ trợ
Chạy các mô hình nguồn mở mới nhất được tối ưu hoá cho thiết bị biên, bao gồm Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 và nhiều mô hình khác.
Tham gia cộng đồng
GitHub
Đóng góp vào mã nguồn, báo cáo vấn đề và xem ví dụ.
Khuôn mặt ôm
Tải các mô hình đã chuyển đổi trước xuống và tham gia thảo luận.