Ringkasan LiteRT-LM

LiteRT-LM adalah framework inferensi open source siap produksi yang dirancang untuk memberikan deployment LLM lintas platform berperforma tinggi di perangkat edge.

• Dukungan Lintas Platform: Berjalan di Android, iOS, Web, Desktop, dan IoT (mis. Raspberry Pi).
• Akselerasi Hardware: Dapatkan performa puncak dan stabilitas sistem dengan memanfaatkan akselerator GPU dan NPU di berbagai hardware.
• Multi-Modalitas: Buat dengan LLM yang memiliki dukungan visi dan audio.
• Penggunaan Alat: Dukungan panggilan fungsi untuk alur kerja agen dengan decoding terbatas untuk meningkatkan akurasi.
• Dukungan Model Luas: Jalankan Gemma, Llama, Phi-4, Qwen, dan lainnya.

Showcase GenAI di Perangkat

Google AI Edge Gallery adalah aplikasi eksperimental yang dirancang untuk menampilkan kemampuan AI Generatif di perangkat yang berjalan sepenuhnya secara offline menggunakan LiteRT-LM.

• Google Play: Gunakan LLM secara lokal di perangkat Android yang didukung.
• App Store: Rasakan AI di perangkat di perangkat iOS Anda.
• Sumber GitHub: Lihat kode sumber untuk aplikasi galeri guna mempelajari cara mengintegrasikan LiteRT-LM di dalam project Anda sendiri.

Model Unggulan: Gemma-4-E2B

• Ukuran Model: 2,58 GB

• Detail teknis tambahan ada di kartu model HuggingFace

  Platform (Perangkat)	Backend	Prefill (tk/dtk)	Decode (tk/dtk)	Waktu ke Token Pertama (detik)	Memori CPU Puncak (MB)
  Android (S26 Ultra)	CPU	557	47	1,8	1733
  	GPU	3808	52	0,3	676
  iOS (iPhone 17 Pro)	CPU	532	25	1,9	607
  	GPU	2878	56	0,3	1450
  Linux (Arm 2.3 &2.8 GHz, NVIDIA GeForce RTX 4090)	CPU	260	35	4	1628
  	GPU	11234	143	0,1	913
  macOS (MacBook Pro M4)	CPU	901	42	1,1	736
  	GPU	7835	160	0,1	1623
  IoT (Raspberry Pi 5 16GB)	CPU	133	8	7,8	1546

Mulai Membuat Aplikasi

Cuplikan berikut menunjukkan cara memulai CLI LiteRT-LM, serta API Python, Kotlin, dan C++.

litert-lm run model.litertlm --prompt="What is the capital of France?"

engine = litert_lm.Engine("model.litertlm")

with engine.create_conversation() as conversation:
    response = conversation.send_message("What is the capital of France?")
    print(f"Response: {response['content'][0]['text']}")

val engineConfig = EngineConfig(
    modelPath = "/path/to/your/model.litertlm",
    backend = Backend.CPU(),
)

val engine = Engine(engineConfig)
engine.initialize()

val conversation = engine.createConversation()
print(conversation.sendMessage("What is the capital of France?"))  

auto model_assets = ModelAssets::Create(model_path);
CHECK_OK(model_assets);

auto engine_settings = EngineSettings::CreateDefault(
    model_assets,
    /*backend=*/litert::lm::Backend::CPU);

absl::StatusOr<std::unique_ptr<Engine>> engine = Engine::CreateEngine(engine_settings);
CHECK_OK(engine);

auto conversation_config = ConversationConfig::CreateDefault(**engine);
CHECK_OK(conversation_config);
absl::StatusOr<std::unique_ptr<Conversation>> conversation = Conversation::Create(**engine, *conversation_config);
CHECK_OK(conversation);

absl::StatusOr<Message> model_message = (*conversation)->SendMessage(
    JsonMessage{
        {"role", "user"},
        {"content", "What is the capital of France?"}
    });
CHECK_OK(model_message);

std::cout << *model_message << std::endl;

Backend &Platform yang Didukung

Model yang Didukung

Tabel berikut mencantumkan model yang didukung oleh LiteRT-LM. Untuk mengetahui angka performa dan kartu model yang lebih mendetail, kunjungi Komunitas LiteRT di Hugging Face.

Melaporkan Masalah

Jika Anda menemukan bug atau memiliki permintaan fitur, laporkan di Masalah GitHub LiteRT-LM.