Framework inferensi open source yang siap produksi dan dirancang untuk menghadirkan deployment LLM lintas platform berperforma tinggi di perangkat edge.
Ringkasan Mulai

Sorotan

Baca blog terbaru kami untuk mengetahui cara LiteRT-LM meningkatkan kualitas deployment GenAI di perangkat Anda, sehingga mengoptimalkan potensi Gemma 4 dengan kecepatan luar biasa dan efisiensi yang tak tertandingi dengan API Swift, JavaScript, dan Flutter yang baru ditambahkan.
Postingan blog Ringkasan

Mengapa LiteRT-LM?

Deploy LLM di Android, iOS, Web, dan Desktop.
Maksimalkan performa dengan akselerasi GPU dan NPU.
Dukungan untuk LLM populer serta multi-modalitas (Vision, Audio) dan Penggunaan Alat.

Mulai membuat

API Python dengan akselerasi hardware di Linux, MacOS, Windows, dan Raspberry Pi.
Panduan Python
Aplikasi Android native dan alat desktop berbasis JVM.
Panduan Android
API Swift iOS Native (macOS akan segera hadir).
Panduan Swift
JavaScript dan TypeScript API untuk aplikasi web berbasis browser dengan akselerasi WebGPU.
Panduan Web
Buat aplikasi Flutter lintas platform menggunakan paket flutter_gemma yang dikelola komunitas.
Panduan Flutter
x-platform C++ API .
Panduan C++
Buat file .litertlm dari model LiteRT yang dikonversi.
Panduan Pembuat File

Bergabung dengan Komunitas

Berkontribusi pada project open source, melaporkan masalah, dan melihat contoh.
Lihat di GitHub
Download model yang telah dikonversi sebelumnya (Gemma, Qwen, dan lainnya), dan bergabunglah dalam diskusi.
Lihat di Hugging Face

Blog dan Pengumuman

Nikmati kecepatan decoding >2x lebih cepat di GPU seluler tanpa penurunan kualitas.
Deploy Gemma 4 dalam aplikasi dan di berbagai perangkat dengan performa dan jangkauan yang luar biasa menggunakan LiteRT-LM.
Men-deploy model bahasa di platform berbasis browser dan perangkat wearable menggunakan LiteRT-LM dalam skala besar.
Pelajari cara menyetel FunctionGemma dan mengaktifkan kemampuan panggilan fungsi yang didukung oleh LiteRT-LM Tool Use API.
Insight terbaru tentang RAG, multimodalitas, dan panggilan fungsi untuk model bahasa edge.