AI Edge Torch Generative API เป็นไลบรารีที่เพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่สำหรับการแปลงโมเดล PyTorch บนตัวแปลงไฟเป็น รูปแบบ LiteRT ช่วยให้คุณสามารถแปลงโมเดลภาษาขนาดใหญ่ (LLM) สำหรับ การสร้างรูปภาพและข้อความในอุปกรณ์ด้วย LiteRT และ MediaPipe ปัจจุบัน AI Edge Torch Generative API ใช้งานได้สำหรับ CPU เท่านั้น พร้อมการรองรับ GPU และ NPU ที่วางแผนไว้
นักพัฒนาแอปบนอุปกรณ์เคลื่อนที่สามารถใช้ Edge Generative API เพื่อผสานรวม PyTorch LLM ด้วย MediaPipe LLM Inference API เพื่อสร้างแอปที่ เรียกใช้โมเดล PyTorch ที่แปลงแล้วทั้งหมดในอุปกรณ์
ดูข้อมูลเพิ่มเติมได้ที่ Generative Torch API GitHub ที่เก็บ