Ekzekutoni LLM në pajisje me LiteRT-LM
Kornizë inference me burim të hapur, e gatshme për prodhim, e projektuar për të ofruar implementime LLM me performancë të lartë dhe ndërplatformë në pajisjet e skajit.
Në qendër të vëmendjes
GenAI në pajisje në Chrome, Chromebook Plus dhe Pixel Watch me LiteRT-LM.
Pse LiteRT-LM?
Ndër-platformë
Vendosni LLM në Android, iOS, Web dhe Desktop.
Përshpejtimi i pajisjeve
Maksimizoni performancën me përshpejtimin e GPU-së dhe NPU-së.
Aftësi të gjera të GenAI
Mbështetje për LLM-të popullore, si dhe multimodalitetin (Pamje, Audio) dhe Përdorimin e Mjeteve.
Filloni ndërtimin
Python
API-të Python me përshpejtim hardueri në Linux, MacOS, Windows dhe Raspberry Pi.
Android
Aplikacione native Android dhe mjete desktopi të bazuara në JVM.
iOS
Integrim nativ i iOS dhe macOS me mbështetje të specializuar për Metal (Swift API-të vijnë së shpejti).
C++
API-të C++ të platformës x.
Blogje dhe Njoftime
GenAI në pajisje në Chrome, Chromebook Plus dhe Pixel Watch
Vendosni modele gjuhësore në platforma të vishetshme dhe të bazuara në shfletues duke përdorur LiteRT-LM në shkallë të gjerë.
Thirrja e funksioneve në pajisje në Galerinë Google AI Edge
Eksploroni se si të përmirësoni FunctionGemma dhe të aktivizoni aftësitë e thirrjes së funksioneve të mundësuara nga LiteRT-LM Tool Use API-të.
Modelet e vogla të gjuhës Google AI Edge, multimodaliteti dhe thirrja e funksioneve
Njohuritë më të fundit mbi RAG, multimodalitetin dhe thirrjen e funksioneve për modelet e gjuhës edge.
Bashkohuni me Komunitetin
LiteRT-LM në GitHub
Kontribuoni në projektin me burim të hapur, raportoni problemet dhe shihni shembuj.
Fytyrë përqafuese
Shkarkoni modelet e para-konvertuara dhe bashkohuni në diskutim.