Khung suy luận nguồn mở, sẵn sàng cho sản xuất, được thiết kế để cung cấp các hoạt động triển khai LLM hiệu suất cao, nhiều nền tảng trên các thiết bị biên.
Tổng quan Bắt đầu
AI tạo sinh trên thiết bị trong Chrome, Chromebook Plus và Pixel Watch bằng LiteRT-LM.
Đọc thêm

Tại sao nên dùng LiteRT-LM?

Triển khai LLM trên Android, iOS, Web và máy tính.
Tối đa hoá hiệu suất bằng tính năng tăng tốc GPU và NPU.
Hỗ trợ các LLM phổ biến cũng như đa phương thức (Thị giác, Âm thanh) và Sử dụng công cụ.

Bắt đầu xây dựng

API Python có tính năng tăng tốc phần cứng trên Linux, MacOS, Windows và Raspberry Pi.
Hướng dẫn về Python
Ứng dụng Android gốc và các công cụ dành cho máy tính dựa trên JVM.
Hướng dẫn về Android
Tích hợp iOS và macOS gốc với chế độ hỗ trợ Metal chuyên biệt (sắp có API Swift).
Hướng dẫn về C++
API C++ đa nền tảng .
Hướng dẫn về C++

Blog và thông báo

Triển khai mô hình ngôn ngữ trên các nền tảng dựa trên trình duyệt và thiết bị đeo bằng LiteRT-LM ở quy mô lớn.
Khám phá cách tinh chỉnh FunctionGemma và bật các chức năng gọi hàm nhờ API Sử dụng công cụ LiteRT-LM.
Thông tin chi tiết mới nhất về RAG, tính đa phương thức và tính năng gọi hàm cho các mô hình ngôn ngữ biên.

Tham gia cộng đồng

Đóng góp cho dự án nguồn mở, báo cáo vấn đề và xem ví dụ.
Xem trên GitHub
Tải các mô hình đã chuyển đổi trước xuống và tham gia thảo luận.
Xem trên Hugging Face