המרת מודלים גנרטיביים של PyTorch

AI Edge Torch Generative AI API היא ספרייה מותאמת לניידים להמרת מודלים של PyTorch שמבוססים על טרנספורמרים בפורמט LiteRT, מה שמאפשר להמיר מודלים גדולים של שפה (LLMs) יצירת תמונות וטקסט במכשיר באמצעות LiteRT ו-MediaPipe. נכון לעכשיו, AI Edge Torch Generative Generative API, עם תמיכה מתוכננת ב-GPU וב-NPU.

מפתחי אפליקציות לנייד יכולים להשתמש ב-API הגנרטיבי של Edge כדי לשלב מודלים מסוג PyTorch LLM בעזרת הסקת מסקנות מ-MediaPipe LLM API כדי ליצור אפליקציות להריץ את המודלים של PyTorch שעברו המרה לגמרי במכשיר.

מידע נוסף זמין ב-GitHub של Generative Torch API מאגר תגים.