ניתוח של Gemma 3 באמצעות Gemma Scope 2

‫Gemma Scope 2 היא חבילה מקיפה ופתוחה של כלי פרשנות שנועדו לאוסף המודלים Gemma 3. הכלי הזה מאפשר לבחון את ההתנהגות של שכבות ספציפיות. הוא מאפשר לחוקרים לנתח התנהגויות מורכבות של מודלים של שפה ולבצע ניפוי באגים בהתנהגויות מתפתחות כמו פריצות או הזיות.

ערכת הכלים הזו פועלת כמו מיקרוסקופ למודל, ומספקת Sparse Autoencoders (SAEs) וTranscoders שאומנו בכל שכבה של משפחת Gemma 3.

מחפשים את הגרסה הקודמת?
היקף Gemma המקורי (ל-Gemma 2) עדיין זמין לחוקרים שעובדים עם משפחת המודלים Gemma 2.