Framework inferensi open source siap produksi yang dirancang untuk menghadirkan deployment LLM lintas platform berperforma tinggi di perangkat edge

Mengapa LiteRT-LM?

Deploy LLM di Android, iOS, Web, dan Desktop.
Maksimalkan performa dengan akselerasi GPU dan NPU.
Dukungan untuk LLM populer serta multi-modalitas (Vision, Audio) dan Penggunaan Alat.
Jalankan model terbuka terbaru yang dioptimalkan untuk edge, termasuk Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4, dan lainnya.

Mulai membuat

Aplikasi Android native dan alat desktop berbasis JVM.
Integrasi iOS dan macOS native dengan dukungan Metal khusus (Swift API akan segera hadir).
Jalankan langsung di browser dengan WebAssembly dan WebGPU (API JS akan segera hadir).

Bergabung dengan Komunitas

Berkontribusi pada kode sumber, melaporkan masalah, dan melihat contoh.
Download model yang telah dikonversi sebelumnya dan bergabung dalam diskusi.