LiteRT memberikan deployment berperforma tinggi untuk model AI Generatif di seluruh platform seluler, desktop, dan web. Dengan memanfaatkan akselerasi hardware secara lancar dari CPU, GPU, dan NPU, LiteRT memberikan performa canggih untuk inferensi GenAI di perangkat.
Anda dapat men-deploy model GenAI yang kompleks menggunakan stack teknologi terintegrasi berikut:
Torch Generative API: Modul Python dalam AI Edge Torch Library untuk membuat dan mengonversi model GenAI PyTorch. Menyediakan blok bangunan yang dioptimalkan yang memastikan eksekusi berperforma tinggi di perangkat. Lihat Mengonversi model GenAI PyTorch untuk mengetahui detail selengkapnya.
LiteRT-LM: Lapisan orkestrasi khusus yang dibangun di atas LiteRT untuk mengelola kompleksitas khusus LLM, seperti cloning sesi, pengelolaan cache kv, penyimpanan/pemberian skor perintah, inferensi stateful. Lihat repositori GitHub LiteRT-LM untuk mengetahui detail selengkapnya.
LiteRT Converter dan Runtime: Mesin dasar yang menyediakan konversi model, eksekusi runtime, dan pengoptimalan yang efisien, sehingga memungkinkan akselerasi hardware tingkat lanjut di seluruh CPU, GPU, dan NPU.
Kumpulan Model GenAI LiteRT
LiteRT mendukung koleksi model open-weight populer yang terus bertambah di Komunitas Hugging Face LiteRT. Model ini telah dikonversi dan disesuaikan sebelumnya untuk deployment langsung, sehingga Anda dapat memanfaatkan performa puncak di CPU, GPU, dan NPU secara langsung.
- Gemma Family
- Gemma 3 270M
- Gemma 3 1B
- Gemma 3n E2B/E4B
- EmbeddingGemma 300M
- Fungsi Gemma 270M
- Qwen Family
- Llama
- Phi
- SmoLM
- FastVLM
Insight Unggulan
- NPU MediaTek dan LiteRT: Mendukung AI di perangkat generasi berikutnya
- Meningkatkan Performa Puncak di NPU Qualcomm dengan LiteRT
- GenAI di perangkat di Chrome, Chromebook Plus, dan Pixel Watch dengan LiteRT-LM
- Model bahasa kecil di perangkat dengan multimodalitas, RAG, dan Panggilan Fungsi
- Gemma 3 di perangkat seluler dan web dengan Google AI Edge