AI Edge Torch Generative API הוא ספרייה מותאמת לניידים שממירה מודלים של PyTorch המבוססים על טרנספורמרים לפורמט TF Lite. כך אפשר להמיר מודלים גדולים של שפה (LLM) ליצירת תמונות וטקסט במכשיר, באמצעות TF Lite ו-MediaPipe. בשלב הזה, ה-AI Edge Torch Generative API זמין לשימוש במעבד (CPU) בלבד, והוא כולל תמיכה מתוכננת ב-GPU וב-NPU.
מפתחי אפליקציות לנייד יכולים להשתמש ב-Edge Generative API כדי לשלב מודלים מסוג PyTorch LLMs עם MediaPipe LLM Inference API, וליצור אפליקציות שמפעילות את המודלים האלה של PyTorch שהומרו באופן מלא במכשיר.
למידע נוסף, קראו את מאגר GitHub API גנרטיבי.