AI Edge Torch Generative API เป็นไลบรารีที่เพิ่มประสิทธิภาพสำหรับอุปกรณ์เคลื่อนที่สำหรับการแปลงโมเดล PyTorch ที่อิงตาม Transformer ให้อยู่ในรูปแบบ TF Lite ทำให้คุณแปลงโมเดลภาษาขนาดใหญ่ (LLM) สำหรับการสร้างรูปภาพและข้อความในอุปกรณ์ด้วย TF Lite และ MediaPipe ได้ ปัจจุบัน AI Edge Torch Generative API เป็นแบบ CPU เท่านั้น โดยมีการรองรับ GPU และ NPU ที่วางแผนไว้
นักพัฒนาแอปบนอุปกรณ์เคลื่อนที่ใช้ Edge Generative API เพื่อผสานรวม PyTorch LLM กับ MediaPipe LLM Inference API เพื่อสร้างแอปที่เรียกใช้โมเดล PyTorch ที่แปลงแล้วเหล่านั้นในอุปกรณ์ได้โดยสมบูรณ์
ดูข้อมูลเพิ่มเติมได้ในที่เก็บ GitHub ของ Generative Torch API