LiteRT-LM ile cihazda LLM'leri çalıştırma
Uç cihazlarda yüksek performanslı ve platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır ve açık kaynaklı çıkarım çerçevesi.
Öne Çıkanlar
LiteRT-LM'nin, cihaz üzerinde üretken yapay zeka dağıtımlarınızı nasıl güçlendirdiğini, yeni eklenen Swift, JavaScript ve Flutter API'leriyle Gemma 4'ün tüm potansiyelini inanılmaz hız ve verimlilikle nasıl ortaya çıkardığını öğrenmek için en son blog yazımıza göz atın.
Neden LiteRT-LM?
Platformlar arası
Android, iOS, web ve masaüstü cihazlarda LLM'leri dağıtın.
Donanım hızlandırmalı
GPU ve NPU hızlandırmasıyla performansı en üst düzeye çıkarın.
Geniş üretken yapay zeka özellikleri
Popüler LLM'lerin yanı sıra çok formatlılık (Vision, Audio) ve Araç Kullanımı desteği.
Derlemeye başlayın
Python
Linux, macOS, Windows ve Raspberry Pi'de donanım hızlandırmalı Python API'leri.
Android
Yerel Android uygulamaları ve JVM tabanlı masaüstü araçları.
iOS
Yerel iOS (macOS desteği yakında) Swift API'leri.
Web
WebGPU hızlandırmalı tarayıcı tabanlı web uygulamaları için JavaScript ve TypeScript API'leri.
Flutter
Topluluk tarafından desteklenen flutter_gemma paketini kullanarak çapraz platform Flutter uygulamaları oluşturun.
C++
Platformlar arası C++ API'leri .
Dosya Oluşturucu
Dönüştürülmüş LiteRT modellerinden .litertlm dosyaları oluşturun.
Topluluğa Katılın
GitHub'da LiteRT-LM
Açık kaynak projesine katkıda bulunun, sorunları bildirin ve örnekleri inceleyin.
Kucak açan yüz
Önceden dönüştürülmüş modelleri (Gemma, Qwen vb.) indirin ve tartışmaya katılın.
Bloglar ve Duyurular
Çoklu jeton tahmini (MTP) ile cihaz üzerinde Gemma 4 çıkarımını güçlendirme
Mobil GPU'larda 2 kat daha hızlı kod çözme hızının yanı sıra kalite kaybı yaşamayın.
Gemma 4 ile en yeni temsilci tabanlı becerileri uçta kullanın.
LiteRT-LM'yi kullanarak Gemma 4'ü uygulama içinde ve daha geniş bir cihaz yelpazesinde üstün performans ve erişimle dağıtın.
Chrome, Chromebook Plus ve Pixel Watch'ta cihaz üzerinde üretken yapay zeka
LiteRT-LM'yi kullanarak giyilebilir cihazlarda ve tarayıcı tabanlı platformlarda dil modellerini geniş ölçekte dağıtın.
Google AI Edge Gallery'de cihaz üzerinde işlev çağrısı
FunctionGemma'yı nasıl ince ayar yapacağınızı ve LiteRT-LM Tool Use API'leri tarafından desteklenen işlev çağrısı özelliklerini nasıl etkinleştireceğinizi keşfedin.
Google AI Edge küçük dil modelleri, çok formatlılık ve işlev çağrısı
Sınırdaki dil modelleri için RAG, çok formatlılık ve işlev çağrısı ile ilgili en son analizler.