Ekzekutoni LLM në pajisje me LiteRT-LM
Kornizë inference me burim të hapur, e gatshme për prodhim, e projektuar për të ofruar implementime LLM me performancë të lartë dhe ndërplatformë në pajisjet e skajit.
Pse LiteRT-LM?
Ndër-platformë
Vendosni LLM në Android, iOS, Web dhe Desktop.
Përshpejtimi i pajisjeve
Maksimizoni performancën me përshpejtimin e GPU-së dhe NPU-së.
Aftësi të gjera të GenAI
Mbështetje për LLM-të popullore, si dhe multimodalitetin (Pamje, Audio) dhe Përdorimin e Mjeteve.
Modele të mbështetura, Modele të mbështetura
Ekzekutoni modelet më të fundit të hapura të optimizuara për skajin, duke përfshirë Gemma-3n, Gemma-3, FunctionGemma, TranslateGemma, Qwen3, Phi-4 dhe të tjera.
Bashkohuni me Komunitetin
GitHub
Kontribuoni në kodin burimor, raportoni problemet dhe shihni shembuj.
Fytyrë përqafuese
Shkarkoni modelet e para-konvertuara dhe bashkohuni në diskutim.