LiteRT-LM là một khung suy luận nguồn mở, sẵn sàng cho hoạt động sản xuất, được thiết kế để cung cấp các hoạt động triển khai LLM hiệu suất cao, nhiều nền tảng trên các thiết bị biên.
- Hỗ trợ đa nền tảng: Chạy trên Android, iOS, Web, Máy tính và IoT (ví dụ: Raspberry Pi).
- Tăng tốc phần cứng: Đạt được hiệu suất cao nhất và độ ổn định của hệ thống bằng cách tận dụng các bộ tăng tốc GPU và NPU trên nhiều phần cứng.
- Đa phương thức: Xây dựng bằng các LLM có hỗ trợ thị giác và âm thanh.
- Sử dụng công cụ: Hỗ trợ gọi hàm cho quy trình làm việc dựa trên tác nhân với khả năng giải mã bị hạn chế để cải thiện độ chính xác.
- Hỗ trợ nhiều mô hình: Chạy Gemma, Llama, Phi-4, Qwen và nhiều mô hình khác.
Tính năng mới (v0.12.0)
- API Swift: Tích hợp LiteRT-LM vào các ứng dụng iOS một cách tự nhiên bằng tính năng tăng tốc GPU Metal. Xem Hướng dẫn về Swift.
- API JavaScript trên web: Chạy các mô hình trong trình duyệt web với hiệu suất cao bằng cách sử dụng GPU/CPU trên web. Xem Hướng dẫn về JavaScript.
- Bản cập nhật API LiteRT-LM CLI / Python: Giao diện dòng lệnh và API Python hiện hỗ trợ NPU, ngoài các phần phụ trợ CPU và GPU trên Linux, macOS và Windows. Hãy xem Hướng dẫn về CLI.
- API Flutter do cộng đồng duy trì: Xây dựng các ứng dụng Flutter nhiều nền tảng bằng cách sử dụng gói flutter_gemma của cộng đồng. Hãy xem Hướng dẫn về Flutter.
Giới thiệu về AI tạo sinh trên thiết bị
Google AI Edge Gallery là một ứng dụng thử nghiệm được thiết kế để giới thiệu các tính năng AI tạo sinh trên thiết bị, chạy hoàn toàn ở chế độ ngoại tuyến bằng LiteRT-LM.
- Google Play: Sử dụng các LLM cục bộ trên thiết bị Android được hỗ trợ.
- App Store: Trải nghiệm AI trên thiết bị iOS.
- Nguồn GitHub: Xem mã nguồn của ứng dụng thư viện ảnh để tìm hiểu cách tích hợp LiteRT-LM vào các dự án của riêng bạn.
Mô hình được đề xuất: Gemma-4-E2B
- Kích thước mô hình: 2,58 GB
Bạn có thể xem thêm thông tin kỹ thuật trong thẻ mô hình HuggingFace
Nền tảng (Thiết bị) Phụ trợ Điền sẵn (tk/s) Giải mã (tk/s) Thời gian cho mã thông báo đầu tiên (giây) Bộ nhớ CPU cao nhất (MB) Android (S26 Ultra) CPU 557 47 1,8 1733 GPU 3808 52 0,3 676 iOS (iPhone 17 Pro) CPU 532 25 1.9 607 GPU 2878 56 0,3 1450 Linux (Arm 2,3 và 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628 GPU 11234 143 0,1 913 macOS (MacBook Pro M4) CPU 901 42 1.1 736 GPU 7835 160 0,1 1623 Windows (Intel LunarLake) CPU 435 30 2.4 3505 GPU 3751 48 0,3 3540 IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546
Bắt đầu xây dựng
LiteRT-LM cung cấp API cho một số ngôn ngữ lập trình và nền tảng để giúp bạn nhanh chóng xây dựng các ứng dụng AI trên thiết bị. Hãy chọn một hướng dẫn bên dưới để bắt đầu:
| Ngôn ngữ | Trạng thái | Phù hợp nhất cho... | Tài liệu |
|---|---|---|---|
| CLI | ✅ Ổn định |
Bắt đầu sử dụng LiteRT-LM trong vòng chưa đầy 1 phút. | Hướng dẫn về CLI |
| Python | ✅ Ổn định |
Tạo mẫu nhanh, phát triển trên máy tính và Raspberry Pi. | Hướng dẫn về Python |
| Kotlin | ✅ Ổn định |
Ứng dụng Android gốc và các công cụ dành cho máy tính dựa trên JVM. Được tối ưu hoá cho Coroutine. | Hướng dẫn về Kotlin |
| Swift | 🚀 Bản xem trước |
Tích hợp iOS và macOS gốc với sự hỗ trợ Metal chuyên biệt. | Hướng dẫn về Swift |
| JavaScript (trên web) | 🚀 Bản xem trước |
Triển khai mô hình ngay trong trình duyệt web với hiệu suất cao. | Hướng dẫn về JavaScript |
| Flutter | 🚀 Cộng đồng |
Ứng dụng Flutter nhiều nền tảng sử dụng flutter_gemma của cộng đồng. |
Hướng dẫn về Flutter |
| C++ | ✅ Ổn định |
Hiệu suất cao, logic cốt lõi đa nền tảng và hệ thống nhúng. | Hướng dẫn về C++ |
Tạo từ nguồn
Nếu muốn tuỳ chỉnh LiteRT-LM hoặc tạo LiteRT-LM cho một cấu hình phần cứng cụ thể, bạn có thể biên dịch trực tiếp từ mã nguồn. Để xem hướng dẫn từng bước về cách thiết lập môi trường và tạo khung, hãy tham khảo Hướng dẫn xây dựng và chạy LiteRT-LM trên GitHub.
Nền tảng và phần phụ trợ được hỗ trợ
| Tăng tốc | Android | iOS | macOS | Windows | Linux | IoT |
|---|---|---|---|---|---|---|
| CPU | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| GPU | ✅ | ✅ | ✅ | ✅ | ✅ | - |
| NPU | ✅ | - | - | 🚀 | - | - |
Các mô hình được hỗ trợ
Bảng sau đây liệt kê các mô hình được LiteRT-LM hỗ trợ. Để biết thêm số liệu hiệu suất và thẻ mô hình chi tiết, hãy truy cập vào Cộng đồng LiteRT trên Hugging Face.
| Mô hình | Loại | Kích thước (MB) | Thông tin chi tiết | Thiết bị | CPU Prefill (tk/s) | Giải mã CPU (tk/s) | GPU Prefill (tk/s) | Giải mã GPU (tk/s) |
|---|---|---|---|---|---|---|---|---|
| Gemma4-E2B | Trò chuyện | 2583 | Thẻ mô hình | Samsung S26 Ultra | 557 | 47 | 3808 | 52 |
| iPhone 17 Pro | 532 | 25 | 2878 | 57 | ||||
| MacBook Pro M4 | 901 | 42 | 7835 | 160 | ||||
| Gemma4-E4B | Trò chuyện | 3654 | Thẻ mô hình | Samsung S26 Ultra | 195 | 18 | 1293 | 22 |
| iPhone 17 Pro | 159 | 10 | 1189 | 25 | ||||
| MacBook Pro M4 | 277 | 27 | 2560 | 101 | ||||
| Gemma-3n-E2B | Trò chuyện | 2965 | Thẻ mô hình | MacBook Pro M3 | 233 | 28 | - | - |
| Samsung S24 Ultra | 111 | 16 | 816 | 16 | ||||
| Gemma-3n-E4B | Trò chuyện | 4235 | Thẻ mô hình | MacBook Pro M3 | 170 | 20 | - | - |
| Samsung S24 Ultra | 74 | 9 | 548 | 9 | ||||
| Gemma3-1B | Trò chuyện | 1005 | Thẻ mô hình | Samsung S24 Ultra | 177 | 33 | 1191 | 24 |
| FunctionGemma | Cơ sở | 289 | Thẻ mô hình | Samsung S25 Ultra | 2238 | 154 | - | - |
| phi-4-mini | Trò chuyện | 3906 | Thẻ mô hình | Samsung S24 Ultra | 67 | 7 | 314 | 10 |
| Qwen2.5-1.5B | Trò chuyện | 1598 | Thẻ mô hình | Samsung S25 Ultra | 298 | 34 | 1668 | 31 |
| Qwen3-0.6B | Trò chuyện | 586 | Thẻ mô hình | Vivo X300 Pro | 165 | 9 | 580 | 21 |
| Qwen2.5-0.5B | Trò chuyện | 521 | Thẻ mô hình | Samsung S24 Ultra | 251 | 30 | - | - |
Báo cáo sự cố
Nếu bạn gặp lỗi hoặc có yêu cầu về tính năng, hãy báo cáo tại LiteRT-LM GitHub Issues.