Tổng quan về LiteRT-LM

LiteRT-LM là một khung suy luận nguồn mở, sẵn sàng cho hoạt động sản xuất, được thiết kế để cung cấp các hoạt động triển khai LLM hiệu suất cao, nhiều nền tảng trên các thiết bị biên.

• Hỗ trợ đa nền tảng: Chạy trên Android, iOS, Web, Máy tính và IoT (ví dụ: Raspberry Pi).
• Tăng tốc phần cứng: Đạt được hiệu suất tối đa và độ ổn định của hệ thống bằng cách tận dụng các bộ tăng tốc GPU và NPU trên nhiều phần cứng.
• Đa phương thức: Xây dựng bằng các LLM có hỗ trợ thị giác và âm thanh.
• Sử dụng công cụ: Hỗ trợ gọi hàm cho quy trình làm việc dựa trên tác nhân với khả năng giải mã bị hạn chế để cải thiện độ chính xác.
• Hỗ trợ nhiều mô hình: Chạy Gemma, Llama, Phi-4, Qwen và nhiều mô hình khác.

Giới thiệu về AI tạo sinh trên thiết bị

Google AI Edge Gallery là một ứng dụng thử nghiệm được thiết kế để giới thiệu các tính năng AI tạo sinh trên thiết bị, chạy hoàn toàn ở chế độ ngoại tuyến bằng LiteRT-LM.

• Google Play: Sử dụng các LLM cục bộ trên thiết bị Android được hỗ trợ.
• App Store: Trải nghiệm AI trên thiết bị iOS.
• Nguồn GitHub: Xem mã nguồn của ứng dụng thư viện ảnh để tìm hiểu cách tích hợp LiteRT-LM vào các dự án của riêng bạn.

Mô hình được đề xuất: Gemma-3n-E2B

Bắt đầu xây dựng

Các đoạn mã sau đây cho biết cách bắt đầu sử dụng CLI LiteRT-LM, cũng như các API Python, Kotlin và C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Nền tảng và phần phụ trợ được hỗ trợ

Các mô hình được hỗ trợ

Bảng sau đây liệt kê các mô hình được LiteRT-LM hỗ trợ. Để biết thêm số liệu hiệu suất và thẻ mô hình chi tiết, hãy truy cập vào Cộng đồng LiteRT trên Hugging Face.

Báo cáo sự cố

Nếu bạn gặp lỗi hoặc có yêu cầu về tính năng, hãy báo cáo tại LiteRT-LM GitHub Issues.