Khung suy luận nguồn mở, sẵn sàng cho sản xuất, được thiết kế để cung cấp các hoạt động triển khai LLM hiệu suất cao, nhiều nền tảng trên các thiết bị biên.
Tổng quan Bắt đầu

Tiêu điểm

Tăng cường khả năng suy luận trên thiết bị của Gemma 4 bằng tính năng Dự đoán nhiều mã thông báo (MTP). Trải nghiệm tốc độ giải mã nhanh hơn gấp 2 lần trên GPU di động mà không làm giảm chất lượng.
Bài đăng trên blog Hướng dẫn

Tại sao nên dùng LiteRT-LM?

Triển khai LLM trên Android, iOS, Web và máy tính.
Tối đa hoá hiệu suất bằng tính năng tăng tốc GPU và NPU.
Hỗ trợ các LLM phổ biến cũng như đa phương thức (Thị giác, Âm thanh) và Sử dụng công cụ.

Bắt đầu xây dựng

API Python có tính năng tăng tốc phần cứng trên Linux, MacOS, Windows và Raspberry Pi.
Hướng dẫn về Python
Ứng dụng Android gốc và các công cụ dành cho máy tính dựa trên JVM.
Hướng dẫn về Android
API Swift gốc của iOS (sắp có trên macOS).
Hướng dẫn về Swift
Tạo ứng dụng Flutter nhiều nền tảng bằng gói flutter_gemma do cộng đồng duy trì.
Hướng dẫn về Flutter
API C++ đa nền tảng .
Hướng dẫn về C++
Tạo tệp .litertlm từ các mô hình LiteRT đã chuyển đổi.
Hướng dẫn về File Builder

Tham gia cộng đồng

Đóng góp cho dự án nguồn mở, báo cáo vấn đề và xem ví dụ.
Xem trên GitHub
Tải các mô hình đã chuyển đổi trước (Gemma, Qwen và nhiều mô hình khác) xuống và tham gia thảo luận.
Xem trên Hugging Face

Blog và thông báo

Triển khai Gemma 4 trong ứng dụng và trên nhiều loại thiết bị hơn với hiệu suất và phạm vi tiếp cận vượt trội bằng cách sử dụng LiteRT-LM.
Triển khai mô hình ngôn ngữ trên các nền tảng dựa trên trình duyệt và thiết bị đeo bằng LiteRT-LM ở quy mô lớn.
Khám phá cách tinh chỉnh FunctionGemma và bật các chức năng gọi hàm nhờ API Sử dụng công cụ LiteRT-LM.
Thông tin chi tiết mới nhất về RAG, tính đa phương thức và tính năng gọi hàm cho các mô hình ngôn ngữ biên.