Menjalankan LLM di perangkat dengan LiteRT-LM
Framework inferensi open source siap produksi yang dirancang untuk menghadirkan deployment LLM lintas platform berperforma tinggi di perangkat edge
Mengapa LiteRT-LM?
Lintas-platform
Deploy LLM di Android, iOS, Web, dan Desktop.
Dipercepat hardware
Maksimalkan performa dengan akselerasi GPU dan NPU.
Kemampuan GenAI yang Luas
Dukungan untuk LLM populer serta multi-modalitas (Vision, Audio) dan Penggunaan Alat.
Model yang Didukung
Jalankan model terbuka terbaru yang dioptimalkan untuk edge, termasuk Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4, dan lainnya.
Bergabung dengan Komunitas
GitHub
Berkontribusi pada kode sumber, melaporkan masalah, dan melihat contoh.
Hugging Face
Download model yang telah dikonversi sebelumnya dan bergabung dalam diskusi.