דגמים פתוחים של Gemma

ניסיון ראשון

HellaSwag

נקודת ההשוואה של HellaSwag מאתגרת את היכולת של מודל שפה להבין וליישם הגיון בריא על ידי בחירת הסיום ההגיוני ביותר לסיפור.

ניסיון ראשון

פיקה

נקודת ההשוואה של PIQA בודקת את היכולת של מודל שפה להבין וליישם ידע פיזיקלי על ידי מענה על שאלות לגבי אינטראקציות פיזיות יומיומיות.

ניסיון ראשון

SIQA

נקודת ההשוואה של SIQA מאפשרת לבחון את ההבנה של מודל השפה לגבי אינטראקציות חברתיות והיגיון בריא, על ידי הצגת שאלות לגבי פעולות של אנשים וההשלכות שלהם ברשתות החברתיות.

ניסיון ראשון

בולק

נקודת ההשוואה של BoolQ בודקת את היכולת של מודל שפה לענות על שאלות כן/לא המתרחשות באופן טבעי (שנוצרות בסביבה לא צפויה ולא מוגבלת), ובודקת את היכולת של המודלים לבצע משימות של הסקת שפה טבעית בעולם האמיתי.

ניקוד חלקי

וינוגראנדה

נקודת ההשוואה של Winogrande בודקת את היכולת של מודל שפה לפתור משימות לא חד-משמעיות של מילוי מקום ריק באמצעות אופציות בינאריות, ולצורך כך צריך לחשוב בהיגיון כללי.

חבטות 7

מנהלי תגובות (CQA)

נקודת ההשוואה של CQA מודדת את הביצועים של מודלים של שפה במענה על שאלות אמריקאיות, באמצעות סוגים שונים של ידע מקובל.

בקרת איכות (OBQA)

נקודת ההשוואה של OBQA מודדת את היכולת של מודל שפה לבצע מענה מתקדם לשאלות באמצעות חשיבה רב-שלבית, ידע מעשי והבנת טקסט עשיר, על פי מודל לאחר מבחנים של ספרים פתוחים.

ARC-e

נקודת ההשוואה של ARC-e בוחנת את הכישורים המתקדמים של מודל השפה למענה לשאלות על שאלות מדעיות אמיתיות ברמת בית הספר היסודי.

ARC-c

נקודת ההשוואה ARC-c היא קבוצת משנה ממוקדת יותר של מערך הנתונים ARC-e, והיא מכילה רק שאלות שהתשובות עליהן שגויות באמצעות אלגוריתמים נפוצים (בסיס אחזור ומופע משותף של מילים).

חבטה

TriviaQA

נקודת ההשוואה של TriviaQA נבדקת על ידי שלשות מיומנויות הבנת הקריאה באמצעות שלשות.

Pass@1

HumanEval

נקודת ההשוואה של HumanEval בודקת את היכולות ליצירת קוד של מודל שפה, על ידי הערכה אם הפתרונות שלו עומדים בבדיקות של יחידות פונקציונליות בבעיות תכנות.

3 חבטות

MBPP

נקודת ההשוואה של MBPP בודקת את היכולת של מודל שפה לפתור בעיות תכנות בסיסיות ב-Python, תוך התמקדות במושגי תכנות בסיסיים ובשימוש סטנדרטי בספרייה.

Maj@1

GSM8K

נקודת ההשוואה של GSM8K בוחן את היכולת של מודל שפה לפתור בעיות מתמטיות ברמת בית הספר, שדורשות לעתים קרובות מספר שלבים של הסקת מסקנות.

חבטה 4

MATH

נקודת ההשוואה של MATH מיועדת להעריך את היכולת של מודל שפה לפתור בעיות מילוליות מורכבות, שנדרשות חשיבה, פתרון בעיות רב-שלבי והבנה של מושגים מתמטיים.

AGIEval

נקודת ההשוואה של AGIEval בודקת את האינטליגנציה הכללית של מודל שפה באמצעות שאלות שנגזרות מבחינות בעולם האמיתי, שנועדו להעריך יכולות אינטלקטואליות של אדם (מבחני כניסה לאוניברסיטה, מבחנים למשפטים וכו').

BBH

נקודת ההשוואה BBH (BIG-Bench Hard) מתמקדת במשימות שנחשבות מעבר ליכולת של מודלי השפה הנוכחיים, ובודקת את המגבלות שלהן בתחומים שונים של חשיבה והבנה.