Uç cihazlarda yüksek performanslı ve platformlar arası LLM dağıtımları sunmak için tasarlanmış, üretime hazır ve açık kaynaklı çıkarım çerçevesi.
Genel bakış Başlarken
LiteRT-LM ile Chrome, Chromebook Plus ve Pixel Watch'ta cihaz üzerinde üretken yapay zeka
Daha Fazla Bilgi

Neden LiteRT-LM?

Android, iOS, web ve masaüstü cihazlarda LLM'leri dağıtın.
GPU ve NPU hızlandırmasıyla performansı en üst düzeye çıkarın.
Popüler LLM'lerin yanı sıra çok formatlılık (Vision, Audio) ve Araç Kullanımı desteği.

Derlemeye başlayın

Linux, macOS, Windows ve Raspberry Pi'de donanım hızlandırmalı Python API'leri.
Python Kılavuzu
Yerel Android uygulamaları ve JVM tabanlı masaüstü araçları.
Android Kılavuzu
Özel Metal desteğiyle yerel iOS ve macOS entegrasyonu (Swift API'leri yakında kullanıma sunulacak).
C++ Kılavuzu
Platformlar arası C++ API'leri .
C++ Kılavuzu

Bloglar ve Duyurular

LiteRT-LM'yi kullanarak giyilebilir cihazlarda ve tarayıcı tabanlı platformlarda dil modellerini geniş ölçekte dağıtın.
FunctionGemma'yı nasıl ince ayar yapacağınızı ve LiteRT-LM Tool Use API'leri tarafından desteklenen işlev çağrısı özelliklerini nasıl etkinleştireceğinizi keşfedin.
Sınırdaki dil modelleri için RAG, çok formatlılık ve işlev çağrısı ile ilgili en son analizler.

Topluluğa Katılın

Açık kaynak projesine katkıda bulunun, sorunları bildirin ve örnekleri inceleyin.
GitHub'da görüntüle
Önceden dönüştürülmüş modelleri indirin ve tartışmaya katılın.
Hugging Face'te görüntüleme