Framework inferensi open source yang siap produksi dan dirancang untuk menghadirkan deployment LLM lintas platform berperforma tinggi di perangkat edge.
Ringkasan Mulai
GenAI di perangkat di Chrome, Chromebook Plus, dan Pixel Watch dengan LiteRT-LM.
Baca Selengkapnya

Mengapa LiteRT-LM?

Deploy LLM di Android, iOS, Web, dan Desktop.
Maksimalkan performa dengan akselerasi GPU dan NPU.
Dukungan untuk LLM populer serta multi-modalitas (Vision, Audio) dan Penggunaan Alat.

Mulai membuat

API Python dengan akselerasi hardware di Linux, MacOS, Windows, dan Raspberry Pi.
Panduan Python
Aplikasi Android native dan alat desktop berbasis JVM.
Panduan Android
Integrasi iOS dan macOS native dengan dukungan Metal khusus (Swift API akan segera hadir).
Panduan C++
x-platform C++ API .
Panduan C++

Blog dan Pengumuman

Men-deploy model bahasa di platform berbasis browser dan perangkat wearable menggunakan LiteRT-LM dalam skala besar.
Pelajari cara menyetel FunctionGemma dan mengaktifkan kemampuan panggilan fungsi yang didukung oleh LiteRT-LM Tool Use API.
Insight terbaru tentang RAG, multimodalitas, dan panggilan fungsi untuk model bahasa edge.

Bergabung dengan Komunitas

Berkontribusi pada project open source, melaporkan masalah, dan melihat contoh.
Lihat di GitHub
Download model yang telah dikonversi sebelumnya dan bergabung dalam diskusi.
Lihat di Hugging Face