ทำให้โมเดล GenAI ใช้งานได้ด้วย LiteRT

LiteRT ช่วยให้ติดตั้งใช้งานโมเดล Generative AI ประสิทธิภาพสูงในแพลตฟอร์มต่างๆ ได้แก่ อุปกรณ์เคลื่อนที่ เดสก์ท็อป และเว็บ LiteRT ใช้ประโยชน์จากการเร่งฮาร์ดแวร์จาก CPU, GPU และ NPU ได้อย่างราบรื่น จึงมอบประสิทธิภาพที่ล้ำสมัยสำหรับการอนุมาน GenAI ในอุปกรณ์

คุณสามารถติดตั้งใช้งานโมเดล GenAI ที่ซับซ้อนได้โดยใช้เทคโนโลยีแบบครบวงจรต่อไปนี้

  • Torch Generative API: โมดูล Python ภายในไลบรารี AI Edge Torch สำหรับ การเขียนและการแปลงโมเดล PyTorch GenAI โดยมีบล็อก ที่ได้รับการเพิ่มประสิทธิภาพซึ่งช่วยให้มั่นใจได้ว่าการดำเนินการในอุปกรณ์จะมีประสิทธิภาพสูง ดูรายละเอียดเพิ่มเติมได้ที่ แปลงโมเดล GenAI ของ PyTorch

  • LiteRT-LM: เลเยอร์การจัดระเบียบเฉพาะที่สร้างขึ้นบน LiteRT เพื่อ จัดการความซับซ้อนเฉพาะของ LLM เช่น การโคลนเซสชัน การจัดการแคช KV การแคช/ให้คะแนนพรอมต์ การอนุมานแบบมีสถานะ ดูรายละเอียดเพิ่มเติมได้ที่ ที่เก็บ GitHub ของ LiteRT-LM

  • LiteRT Converter และรันไทม์: เครื่องมือพื้นฐานที่ช่วยให้ การแปลงโมเดล การดำเนินการรันไทม์ และการเพิ่มประสิทธิภาพเป็นไปอย่างมีประสิทธิภาพ ซึ่งช่วยให้ การเร่งฮาร์ดแวร์ขั้นสูงใน CPU, GPU และ NPU เป็นไปได้

ที่เก็บโมเดล GenAI ของ LiteRT

LiteRT รองรับโมเดลยอดนิยมแบบโอเพนเวทที่เพิ่มขึ้นเรื่อยๆ ในชุมชน LiteRT Hugging Face โมเดลเหล่านี้ได้รับการแปลงและปรับแต่งล่วงหน้าเพื่อการติดตั้งใช้งานได้ทันที ซึ่งช่วยให้คุณ ใช้ประโยชน์จากประสิทธิภาพสูงสุดใน CPU, GPU และ NPU ได้ทันที

  • Gemma Family
    • Gemma 3 270M
    • Gemma 3 1B
    • Gemma 3n E2B/E4B
    • EmbeddingGemma 300M
    • ฟังก์ชัน Gemma 270M
  • Qwen Family
  • Llama
  • Phi
  • SmoLM
  • FastVLM

ข้อมูลเชิงลึกที่แนะนำ