แปลงโมเดล GenAI ของ PyTorch สำหรับการอนุมานในอุปกรณ์

LiteRT Torch Generative API เป็นไลบรารีที่มีประสิทธิภาพสูงซึ่งออกแบบมาเพื่อการเขียนและการแปลงโมเดล PyTorch ที่อิงตาม Transformer เป็นรูปแบบ LiteRT/LiteRT-LM ซึ่งช่วยให้นักพัฒนาแอปสามารถติดตั้งใช้งานโมเดล Generative AI โดยเฉพาะอย่างยิ่งโมเดลภาษาขนาดใหญ่ (LLM) สำหรับการสร้างข้อความและรูปภาพในอุปกรณ์ได้อย่างราบรื่นและง่ายดาย

Torch Generative API รองรับการแปลงโมเดลสำหรับการดำเนินการ CPU และ GPU โดยมีการรองรับ NPU ในการพัฒนา การจับคู่ Torch Generative API กับ LiteRT-LM จะช่วยให้คุณสร้างแอปพลิเคชันที่ตอบสนองและมุ่งเน้นความเป็นส่วนตัว ซึ่งเรียกใช้โมเดล Generative ในอุปกรณ์ทั้งหมดได้

ดูข้อมูลเพิ่มเติมได้ที่ ที่เก็บ GitHub ของ Generative Torch API