RecurrentGemma
RecurrentGemma הוא מודל פתוח שמבוסס על Griffin, מודל היברידי שמשלבים חזרות לינאריות מגודרות עם תשומת לב מקומית של חלון הזזה.
כמו Gemma, גם RecurrentGemma מתאימה למגוון משימות של יצירת טקסט, כולל מענה לשאלות, סיכום והסקת מסקנות. עם זאת, הארכיטקטורה הייחודית של RecurrentGemma מציעה את היתרונות הנוספים הבאים:
-
שימוש מופחת בזיכרון
דרישות זיכרון נמוכות יותר מאפשרות ליצור דגימות ארוכות יותר במכשירים עם זיכרון מוגבל, כמו מעבדי GPU בודדים או מעבדים (CPU). -
תפוקה גבוהה יותר
RecurrentGemma יכולה לבצע הסקת מסקנות בקנה מידה גדול יותר באופן משמעותי, כלומר היא יכולה לייצר כמות גדולה יותר של אסימונים בשנייה – במיוחד ביצירת רצפים ארוכים. -
ביצועים גבוהים
RecurrentGemma תואמת לביצועים של מיכל, תוך שהיא דורשת פחות זיכרון ומספקת הסקת מסקנות מהירה יותר.
מקורות מידע נוספים
הצגת כרטיס המודל
כרטיס המודל של RecurrentGemma מכיל מידע מפורט על המודל, מידע על היישום, פרטי הערכה, שימוש במודל ומגבלות ועוד.
הצגה ב-Kaggle
כאן אפשר לראות קוד נוסף, מחברות של Colab, מידע ודיונים על RecurrentGemma ב-Kaggle.
הפעלה ב-GitHub
אתם יכולים להריץ notebooks לדוגמה של Colab ב-JAX וב-PyTorch ב-GitHub.