Vendosni modelet GenAI me LiteRT

LiteRT ofron vendosje me performancë të lartë për modelet e IA-së Gjenerative në platformat mobile, desktop dhe web. Duke shfrytëzuar pa probleme përshpejtimin e harduerit nga CPU-të, GPU-të dhe NPU-të, LiteRT ofron performancë të teknologjisë së fundit për nxjerrjen e përfundimeve GenAI në pajisje.

Ju mund të vendosni modele komplekse GenAI duke përdorur grupin e mëposhtëm të teknologjisë së integruar:

  • Torch Generative API : Një modul Python brenda Bibliotekës AI Edge Torch për krijimin dhe konvertimin e modeleve PyTorch GenAI. Ai ofron blloqe ndërtimi të optimizuara që sigurojnë ekzekutim me performancë të lartë në pajisje. Shihni Konvertimi i modeleve PyTorch GenAI për më shumë detaje.

  • LiteRT-LM : Një shtresë e specializuar orkestrimi e ndërtuar mbi LiteRT për të menaxhuar kompleksitetet specifike të LLM-së, të tilla si klonimi i sesioneve, menaxhimi i kv-cache, ruajtja/vënia e pikëve në memorje të menjëhershme, nxjerrja e përfundimeve stateful. Shihni repo-n e LiteRT-LM GitHub për më shumë detaje.

  • Konvertuesi dhe Koha e Runtime-it LiteRT : Motori themelor që ofron konvertim efikas të modelit, ekzekutim të kohës së ekzekutimit dhe optimizim, duke fuqizuar përshpejtimin e avancuar të harduerit në CPU, GPU dhe NPU.

Kopshti Zoologjik i Modelit LiteRT GenAI

LiteRT mbështet një koleksion në rritje të modeleve të njohura me peshë të hapur në Komunitetin LiteRT Hugging Face . Këto modele janë të para-konvertuara dhe të akorduara për vendosje të menjëhershme, duke ju mundësuar të shfrytëzoni performancën maksimale në CPU, GPU dhe NPU menjëherë.

  • Familja Gemma
    • Gemma 3 270M
    • Gemma 3 1B
    • Gemma 3n E2B/E4B
    • EmbeddingGemma 300M
    • Funksioni Gemma 270M
  • Familja Qwen
  • Lama
  • Phi
  • SmoLM
  • FastVLM

Informacione të Veçanta