RecurrentGemma
RecurrentGemma הוא מודל פתוח שמבוסס על Griffin, ארכיטקטורת מודלים היברידית שמשלבת חזרהות לינאריות עם הגבלות על תשומת הלב של חלונות הזזה.
כמו Gemma, RecurrentGemma מתאים מאוד למגוון משימות ליצירת טקסט, כולל מענה לשאלות, סיכום והסקת מסקנות. עם זאת, לארכיטקטורה הייחודית של RecurrentGemma יש את היתרונות הנוספים הבאים:
-
שימוש מופחת בזיכרון
דרישות זיכרון נמוכות יותר מאפשרות ליצור דגימות ארוכות יותר במכשירים עם זיכרון מוגבל, כמו מעבדי GPU בודדים או מעבדים (CPU). -
תפוקה גבוהה יותר
RecurrentGemma יכולה לבצע הסקת מסקנות בקנה מידה גדול יותר באופן משמעותי, כלומר היא יכולה לייצר כמות גדולה יותר של אסימונים בשנייה – במיוחד ביצירת רצפים ארוכים. -
ביצועים גבוהים
RecurrentGemma תואמת לביצועים של מיכל, תוך שהיא דורשת פחות זיכרון ומספקת הסקת מסקנות מהירה יותר.
מקורות מידע נוספים
הצגת כרטיס המודל
כרטיס המודל של RecurrentGemma מכיל מידע מפורט על המודל, מידע על היישום, פרטי הערכה, שימוש במודל ומגבלות ועוד.
הצגה ב-Kaggle
כאן אפשר לראות קוד נוסף, מחברות של Colab, מידע ודיונים על RecurrentGemma ב-Kaggle.
הפעלה ב-GitHub
אתם יכולים להריץ notebooks לדוגמה של Colab ב-JAX וב-PyTorch ב-GitHub.