LiteRT ile üretken yapay zeka modellerini dağıtma

LiteRT, mobil, masaüstü ve web platformlarında üretken yapay zeka modelleri için yüksek performanslı dağıtım sağlar. LiteRT, CPU'lar, GPU'lar ve NPU'lardan donanım hızlandırmayı sorunsuz bir şekilde kullanarak cihaz üzerinde üretken yapay zeka çıkarımı için son teknoloji performans sunar.

Aşağıdaki entegre teknoloji yığınını kullanarak karmaşık üretken yapay zeka modelleri dağıtabilirsiniz:

  • Torch Generative API: PyTorch GenAI modellerini oluşturmak ve dönüştürmek için AI Edge Torch Kitaplığı'ndaki bir Python modülü. Cihazlarda yüksek performanslı yürütme sağlayan optimize edilmiş yapı taşları sunar. Daha fazla bilgi için PyTorch üretken yapay zeka modellerini dönüştürme başlıklı makaleyi inceleyin.

  • LiteRT-LM: LiteRT üzerine kurulu, oturum klonlama, KV önbellek yönetimi, istem önbelleğe alma/puanlama, durum bilgisi içeren çıkarım gibi LLM'ye özgü karmaşıklıkları yönetmek için oluşturulmuş özel bir düzenleme katmanı. Daha fazla bilgi için LiteRT-LM GitHub deposuna göz atın.

  • LiteRT Dönüştürücü ve Çalışma Zamanı: Verimli model dönüştürme, çalışma zamanı yürütme ve optimizasyon sağlayan temel motor. CPU, GPU ve NPU'da gelişmiş donanım hızlandırmayı destekler.

LiteRT GenAI Model Zoo

LiteRT, LiteRT Hugging Face Community'de giderek artan sayıda popüler açık ağırlıklı modeli destekler. Bu modeller, hemen dağıtıma hazır olacak şekilde önceden dönüştürülmüş ve ayarlanmıştır. Böylece, CPU'lar, GPU'lar ve NPU'larda kutudan çıkar çıkmaz en yüksek performanstan yararlanabilirsiniz.

  • Gemma Ailesi
    • Gemma 3 270M
    • Gemma 3 1B
    • Gemma 3n E2B/E4B
    • EmbeddingGemma 300M
    • Function Gemma 270M
  • Qwen Family
  • Llama
  • Phi
  • SmoLM
  • FastVLM

Öne Çıkan Analizler