แปลงโมเดล PyTorch แบบ Generative

AI Edge Torch Generative API เป็นไลบรารีสำหรับแปลงโมเดล PyTorch ที่อิงตาม Transformer เป็น รูปแบบ LiteRT ซึ่งช่วยให้คุณแปลงโมเดลภาษาขนาดใหญ่ (LLM) สำหรับ การสร้างรูปภาพและข้อความในอุปกรณ์ด้วย LiteRT-LM ได้ ปัจจุบัน AI Edge Torch Generative API รองรับ CPU และ GPU โดยมีแผนที่จะรองรับ NPU ด้วย

นักพัฒนาแอปสามารถใช้ Generative API เพื่อผสานรวม LLM ของ PyTorch กับ LiteRT-LM เพื่อสร้างแอปที่ เรียกใช้โมเดล PyTorch ที่แปลงแล้วเหล่านั้นบนอุปกรณ์ได้โดยสมบูรณ์

ดูข้อมูลเพิ่มเติมได้ที่ GitHub repo ของ Generative Torch API