Khung suy luận nguồn mở, sẵn sàng cho sản xuất, được thiết kế để cung cấp các hoạt động triển khai LLM hiệu suất cao, nhiều nền tảng trên các thiết bị biên.
Tổng quan Bắt đầu

Tiêu điểm

Đưa các kỹ năng của tác nhân AI tiên tiến đến thiết bị biên bằng Gemma 4.
Đọc thêm

Tại sao nên dùng LiteRT-LM?

Triển khai LLM trên Android, iOS, Web và máy tính.
Tối đa hoá hiệu suất bằng tính năng tăng tốc GPU và NPU.
Hỗ trợ các LLM phổ biến cũng như đa phương thức (Thị giác, Âm thanh) và Sử dụng công cụ.

Bắt đầu xây dựng

API Python có tính năng tăng tốc phần cứng trên Linux, MacOS, Windows và Raspberry Pi.
Hướng dẫn về Python
Ứng dụng Android gốc và các công cụ dành cho máy tính dựa trên JVM.
Hướng dẫn về Android
Tích hợp iOS và macOS gốc với chế độ hỗ trợ Metal chuyên biệt (sắp có API Swift).
Hướng dẫn về C++
API C++ đa nền tảng .
Hướng dẫn về C++

Tham gia cộng đồng

Đóng góp cho dự án nguồn mở, báo cáo vấn đề và xem ví dụ.
Xem trên GitHub
Tải các mô hình đã chuyển đổi trước (Gemma, Qwen và nhiều mô hình khác) xuống và tham gia thảo luận.
Xem trên Hugging Face

Blog và thông báo

Triển khai Gemma 4 trong ứng dụng và trên nhiều loại thiết bị hơn với hiệu suất và phạm vi tiếp cận vượt trội bằng cách sử dụng LiteRT-LM.
Triển khai mô hình ngôn ngữ trên các nền tảng dựa trên trình duyệt và thiết bị đeo bằng LiteRT-LM ở quy mô lớn.
Khám phá cách tinh chỉnh FunctionGemma và bật các chức năng gọi hàm nhờ API Sử dụng công cụ LiteRT-LM.
Thông tin chi tiết mới nhất về RAG, tính đa phương thức và tính năng gọi hàm cho các mô hình ngôn ngữ biên.