RecurrentGemma
RecurrentGemma הוא מודל פתוח שמבוסס על את Griffin, ארכיטקטורת מודלים היברידית משלבת מופעים לינאריים מגודרים עם תשומת לב של חלון הזזה מקומי.
כמו Gemma, RecurrentGemma מתאים במיוחד מגוון משימות של יצירת טקסט, כולל מענה לשאלות, סיכום הסקת מסקנות. עם זאת, הארכיטקטורה הייחודית של RecurrentGemma מציעה את האפשרויות הבאות יתרונות:
-
שימוש מופחת בזיכרון
דרישות זיכרון נמוכות יותר מאפשרות ליצור דגימות ארוכות יותר במכשירים עם זיכרון מוגבל, כמו מעבדי GPU בודדים או מעבדים (CPU). -
תפוקה גבוהה יותר
RecurrentGemma יכולה לבצע הסקת מסקנות בקנה מידה גדול יותר באופן משמעותי, כלומר היא יכולה לייצר כמות גדולה יותר של אסימונים בשנייה – במיוחד ביצירת רצפים ארוכים. -
ביצועים גבוהים
RecurrentGemma תואמת לביצועים של מיכל, תוך שהיא דורשת פחות זיכרון ומספקת הסקת מסקנות מהירה יותר.
מקורות מידע נוספים
הצגת כרטיס המודל
כרטיס המודל של RecurrentGemma מכיל מידע מפורט על המודל, מידע על היישום, פרטי הערכה, שימוש במודל ומגבלות ועוד.
הצגה ב-Kaggle
כאן אפשר לראות קוד נוסף, מחברות של Colab, מידע ודיונים על RecurrentGemma ב-Kaggle.
הפעלה ב-GitHub
אתם יכולים להריץ notebooks לדוגמה של Colab ב-JAX וב-PyTorch ב-GitHub.