แปลงโมเดล GenAI ของ PyTorch สำหรับการอนุมานในอุปกรณ์

AI Edge Torch Generative API เป็นไลบรารีที่มีประสิทธิภาพสูงซึ่งออกแบบมาสำหรับการเขียนและการแปลงโมเดล PyTorch ที่อิงตาม Transformer เป็นรูปแบบ LiteRT/LiteRT-LM ซึ่งช่วยให้นักพัฒนาแอปสามารถติดตั้งใช้งานโมเดล Generative AI ได้อย่างราบรื่น โดยเฉพาะอย่างยิ่งโมเดลภาษาขนาดใหญ่ (LLM) สำหรับการสร้างข้อความและรูปภาพในอุปกรณ์ได้อย่างง่ายดาย

Torch Generative API รองรับการแปลงโมเดลสำหรับการดำเนินการ CPU และ GPU โดยมีการรองรับ NPU ในการพัฒนา การจับคู่ Torch Generative API กับ LiteRT-LM จะช่วยให้คุณสร้างแอปพลิเคชันที่ตอบสนองและมุ่งเน้นความเป็นส่วนตัว ซึ่งเรียกใช้โมเดล Generative ทั้งหมดในอุปกรณ์ได้

ดูข้อมูลเพิ่มเติมได้ที่ ที่เก็บ GitHub ของ Generative Torch API