LiteRT-LM, uç cihazlarda yüksek performanslı ve platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır ve açık kaynaklı bir çıkarım çerçevesidir.
- Platformlar Arası Destek: Android, iOS, web, masaüstü ve IoT'de (ör. Raspberry Pi) çalışır.
- Donanım Hızlandırma: Çeşitli donanımlarda GPU ve NPU hızlandırıcılarından yararlanarak en yüksek performansı ve sistem kararlılığını elde edin.
- Çok formatlılık: Görüntü ve ses desteği olan LLM'lerle geliştirme yapın.
- Araç Kullanımı: Gelişmiş doğruluk için kısıtlanmış kod çözme ile ajan tabanlı iş akışlarında işlev çağrısı desteği.
- Geniş Model Desteği: Gemma, Llama, Phi-4, Qwen ve daha fazlasını çalıştırın.
Yenilikler (v0.12.0)
- Swift API'leri: Metal GPU hızlandırmasıyla LiteRT-LM'yi iOS uygulamalarına yerel olarak entegre edin. Swift Kılavuzu'na bakın.
- Web JavaScript API'leri: Web GPU/CPU kullanarak web tarayıcılarında yüksek performanslı modeller çalıştırın. JavaScript Kılavuzu'na bakın.
- LiteRT-LM CLI / Python API Güncellemesi: Komut satırı arayüzü ve Python API artık Linux, macOS ve Windows'daki CPU ve GPU arka uçlarının yanı sıra NPU'yu da destekliyor. KSA Kılavuzu'na bakın.
- Topluluk tarafından desteklenen Flutter API'leri: Topluluk tarafından desteklenen flutter_gemma paketini kullanarak platformlar arası Flutter uygulamaları oluşturun. Flutter Kılavuzu'na bakın.
Cihaz Üzerinde Üretken Yapay Zeka Gösterimi
Google Yapay Zeka Edge Galerisi, LiteRT-LM kullanılarak tamamen çevrimdışı çalışan cihaz üzerinde üretken yapay zeka özelliklerini sergilemek için tasarlanmış deneysel bir uygulamadır.
- Google Play: Desteklenen Android cihazlarda LLM'leri yerel olarak kullanın.
- App Store: iOS cihazınızda cihaz üzerinde yapay zeka deneyimini yaşayın.
- GitHub Kaynağı: LiteRT-LM'yi kendi projelerinize nasıl entegre edeceğinizi öğrenmek için galeri uygulamasının kaynak kodunu görüntüleyin.
Öne Çıkan Model: Gemma-4-E2B
- Model boyutu: 2,58 GB
Ek teknik ayrıntılar için HuggingFace model kartına bakın.
Platform (Cihaz) Arka uç Önceden doldurma (tk/s) Kod çözme (tk/sn) İlk jetona kadar geçen süre (saniye) En Yüksek CPU Belleği (MB) Android (S26 Ultra) CPU 557 47 1,8 1733 GPU 3808 52 0,3 676 iOS (iPhone 17 Pro) CPU 532 25 1.9 607 GPU 2878 56 0,3 1450 Linux (Arm 2,3 ve 2,8 GHz, NVIDIA GeForce RTX 4090) CPU 260 35 4 1628 GPU 11234 143 0,1 913 macOS (MacBook Pro M4) CPU 901 42 1.1 736 GPU 7835 160 0,1 1623 Windows (Intel LunarLake) CPU 435 30 2.4 3505 GPU 3751 48 0,3 3540 IoT (Raspberry Pi 5 16GB) CPU 133 8 7.8 1546
Derlemeye Başlama
LiteRT-LM, cihaz üzerinde yapay zeka uygulamalarını hızlı bir şekilde oluşturmanıza yardımcı olmak için çeşitli programlama dilleri ve platformlar için API'ler sağlar. Başlamak için aşağıdaki kılavuzlardan birini seçin:
| Dil | Durum | En uygun olduğu durumlar: | Belgeler |
|---|---|---|---|
| CLI | ✅ Kararlı |
LiteRT-LM'yi 1 dakikadan kısa sürede kullanmaya başlayın. | CLI Guide |
| Python | ✅ Kararlı |
Masaüstü ve Raspberry Pi'de hızlı prototip oluşturma, geliştirme. | Python Guide |
| Kotlin | ✅ Kararlı |
Yerel Android uygulamaları ve JVM tabanlı masaüstü araçları. Coroutine'ler için optimize edilmiştir. | Kotlin Rehberi |
| Swift | 🚀 Erken erişim |
Özel Metal desteğiyle yerel iOS ve macOS entegrasyonu. | Swift Guide |
| JavaScript (web) | 🚀 Erken erişim |
Modelleri doğrudan web tarayıcılarında yüksek performansla dağıtın. | JavaScript Guide |
| Flutter | 🚀 Topluluk |
Platformlar arası
Flutter uygulamaları
topluluktan yararlanarak
flutter_gemma. |
Flutter Guide |
| C++ | ✅ Kararlı |
Yüksek performanslı, platformlar arası temel mantık ve yerleştirilmiş sistemler. | C++ Rehberi |
Kaynaktan derleme
LiteRT-LM'yi özelleştirmek veya belirli bir donanım yapılandırması için oluşturmak istiyorsanız doğrudan kaynak koddan derleyebilirsiniz. Ortamınızı ayarlama ve çerçeveyi oluşturma ile ilgili adım adım talimatlar için GitHub'daki LiteRT-LM Build and Run Guide'a (LiteRT-LM Derleme ve Çalıştırma Kılavuzu) bakın.
Desteklenen arka uçlar ve platformlar
| İvme | Android | iOS | macOS | Windows | Linux | IoT |
|---|---|---|---|---|---|---|
| CPU | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| GPU | ✅ | ✅ | ✅ | ✅ | ✅ | - |
| NPU | ✅ | - | - | 🚀 | - | - |
Desteklenen Modeller
Aşağıdaki tabloda, LiteRT-LM tarafından desteklenen modeller listelenmiştir. Daha ayrıntılı performans rakamları ve model kartları için Hugging Face'teki LiteRT Topluluğu'nu ziyaret edin.
| Model | Tür | Boyut (MB) | Ayrıntılar | Cihaz | CPU Prefill (tk/sn) | CPU kod çözme (tk/sn) | GPU Prefill (tk/s) | GPU kod çözme (tk/sn) |
|---|---|---|---|---|---|---|---|---|
| Gemma4-E2B | Sohbet | 2583 | Model Kartı | Samsung S26 Ultra | 557 | 47 | 3808 | 52 |
| iPhone 17 Pro | 532 | 25 | 2878 | 57 | ||||
| MacBook Pro M4 | 901 | 42 | 7835 | 160 | ||||
| Gemma4-E4B | Sohbet | 3654 | Model Kartı | Samsung S26 Ultra | 195 | 18 | 1293 | 22 |
| iPhone 17 Pro | 159 | 10 | 1189 | 25 | ||||
| MacBook Pro M4 | 277 | 27 | 2560 | 101 | ||||
| Gemma-3n-E2B | Sohbet | 2965 | Model Kartı | MacBook Pro M3 | 233 | 28 | - | - |
| Samsung S24 Ultra | 111 | 16 | 816 | 16 | ||||
| Gemma-3n-E4B | Sohbet | 4235 | Model Kartı | MacBook Pro M3 | 170 | 20 | - | - |
| Samsung S24 Ultra | 74 | 9 | 548 | 9 | ||||
| Gemma3-1B | Sohbet | 1005 | Model Kartı | Samsung S24 Ultra | 177 | 33 | 1191 | 24 |
| FunctionGemma | Temel | 289 | Model Kartı | Samsung S25 Ultra | 2238 | 154 | - | - |
| phi-4-mini | Sohbet | 3906 | Model Kartı | Samsung S24 Ultra | 67 | 7 | 314 | 10 |
| Qwen2.5-1.5B | Sohbet | 1598 | Model Kartı | Samsung S25 Ultra | 298 | 34 | 1668 | 31 |
| Qwen3-0.6B | Sohbet | 586 | Model Kartı | Vivo X300 Pro | 165 | 9 | 580 | 21 |
| Qwen2.5-0.5B | Sohbet | 521 | Model Kartı | Samsung S24 Ultra | 251 | 30 | - | - |
Sorunları Bildirme
Bir hatayla karşılaşırsanız veya özellik isteğinde bulunmak isterseniz LiteRT-LM GitHub Sorunları sayfasından bildirin.