Google AI Edge | Google AI for Developers

Google AI Edge Portal ile tanışın: Edge AI'yı geniş ölçekte karşılaştırın. Gizli önizleme sırasında erişim isteğinde bulunmak için kaydolun.

Uç cihazlarda yüksek performanslı, platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır, açık kaynaklı çıkarım çerçevesi

Neden LiteRT-LM?

Android, iOS, web ve masaüstü cihazlarda LLM'leri dağıtın.

GPU ve NPU hızlandırmasıyla performansı en üst düzeye çıkarın.

Popüler LLM'lerin yanı sıra çok formatlılık (Vision, Audio) ve Araç Kullanımı desteği.

Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 gibi uç için optimize edilmiş en yeni açık modelleri çalıştırın.

Yerel Android uygulamaları ve JVM tabanlı masaüstü araçları.

Özel Metal desteğiyle yerel iOS ve macOS entegrasyonu (Swift API'leri yakında kullanıma sunulacak).

WebAssembly ve WebGPU ile doğrudan tarayıcıda çalıştırın (JS API'leri yakında kullanıma sunulacak).

Kaynak koduna katkıda bulunun, sorunları bildirin ve örnekleri inceleyin.

Önceden dönüştürülmüş modelleri indirin ve tartışmaya katılın.