Uç cihazlarda yüksek performanslı ve platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır ve açık kaynaklı çıkarım çerçevesi.
Genel bakış Başlarken

Öne Çıkanlar

Gemma 4 ile en yeni temsilci tabanlı becerileri uçta kullanın.
Daha Fazla Bilgi

Neden LiteRT-LM?

Android, iOS, web ve masaüstü cihazlarda LLM'leri dağıtın.
GPU ve NPU hızlandırmasıyla performansı en üst düzeye çıkarın.
Popüler LLM'lerin yanı sıra çok formatlılık (Vision, Audio) ve Araç Kullanımı desteği.

Derlemeye başlayın

Linux, macOS, Windows ve Raspberry Pi'de donanım hızlandırmalı Python API'leri.
Python Kılavuzu
Yerel Android uygulamaları ve JVM tabanlı masaüstü araçları.
Android Kılavuzu
Özel Metal desteğiyle yerel iOS ve macOS entegrasyonu (Swift API'leri yakında kullanıma sunulacak).
C++ Kılavuzu
Platformlar arası C++ API'leri .
C++ Kılavuzu

Topluluğa Katılın

Açık kaynak projesine katkıda bulunun, sorunları bildirin ve örnekleri inceleyin.
GitHub'da görüntüle
Önceden dönüştürülmüş modelleri (Gemma, Qwen vb.) indirin ve tartışmaya katılın.
Hugging Face'te görüntüleme

Bloglar ve Duyurular

LiteRT-LM'yi kullanarak Gemma 4'ü uygulama içinde ve daha geniş bir cihaz yelpazesinde üstün performans ve erişimle dağıtın.
LiteRT-LM'yi kullanarak giyilebilir cihazlarda ve tarayıcı tabanlı platformlarda dil modellerini geniş ölçekte dağıtın.
FunctionGemma'yı nasıl ince ayar yapacağınızı ve LiteRT-LM Tool Use API'leri tarafından desteklenen işlev çağrısı özelliklerini nasıl etkinleştireceğinizi keşfedin.
Sınırdaki dil modelleri için RAG, çok formatlılık ve işlev çağrısı ile ilgili en son analizler.