כרטיס מודל של PaliGemma 2

דף המודל: PaliGemma

משאבים ותיעוד טכני:

• PaliGemma 2 ב-Kaggle
• ערכת הכלים לשימוש אחראי ב-AI גנרטיבי

התנאים וההגבלות: התנאים

מחברים: Google

פרטי דגם

סיכום המודל

PaliGemma 2 הוא עדכון של מודל ה-VLM (מודל שפה-ראייה) PaliGemma, שמשתלב עם היכולות של המודלים Gemma 2. משפחת המודלים של PaliGemma מבוססת על PaLI-3 ומושפעת ממנה, והיא מבוססת על רכיבים פתוחים כמו מודל הראייה SigLIP ומודל השפה Gemma 2. הכלי מקבל תמונה וטקסט כקלט ויוצר פלט של טקסט, ותומך בכמה שפות. הוא תוכנן לביצועים מובילים בתחום של כוונון עדין במגוון רחב של משימות שמשלבות בין ראייה לטקסט, כמו יצירת כיתוב לתמונות ולסרטוני Shorts, מענה לשאלות חזותיות, קריאת טקסט, זיהוי אובייקטים ופיצול אובייקטים.

ארכיטקטורת מודל

PaliGemma 2 הוא שילוב של מפענח טרנספורמר ומקודד תמונות של Vision Transformer. מפענח הטקסט מופעל מ-Gemma 2 בגדלי הפרמטרים 2B,‏ 9B ו-27B. מקודד התמונות מופעל מ-SigLIP-So400m/14. בדומה למודל PaliGemma המקורי, מודל PaliGemma 2 עובר אימון לפי המתכונים של PaLI-3.

קלט ופלט

• קלט: תמונה ומחרוזת טקסט, כמו הנחיה להוספת כיתוב לתמונה או שאלה.
• פלט: טקסט שנוצר בתגובה לקלט, כמו כותרת של תמונה, תשובה לשאלה, רשימה של קואורדינטות של תיבת גבולות של אובייקט או מילות קוד של פילוח.

ציטוט ביבליוגרפי

@article{
    title={PaliGemma 2: A Family of Versatile VLMs for Transfer},
    author={Andreas Steiner and André Susano Pinto and Michael Tschannen and Daniel Keysers and Xiao Wang and Yonatan Bitton and Alexey Gritsenko and Matthias Minderer and Anthony Sherbondy and Shangbang Long and Siyang Qin and Reeve Ingle and Emanuele Bugliarello and Sahar Kazemzadeh and Thomas Mesnard and Ibrahim Alabdulmohsin and Lucas Beyer and Xiaohua Zhai},
    year={2024},
    journal={arXiv preprint arXiv:2412.03555}
}

נתוני מודל

מערכי נתונים לאימון מראש

PaliGemma 2 עברה אימון מראש על התמהיל הבא של מערכי נתונים:

• WebLI: WebLI‏ (Web Language Image) הוא מערך נתונים של תמונות וטקסט בכמה שפות ברמת האינטרנט, שנוצר מהאינטרנט הציבורי. אנחנו משתמשים במגוון רחב של חלוקות של WebLI כדי לקבל יכולות מודל מגוונות, כמו הבנה סמנטית חזותית, לוקליזציה של אובייקטים, הבנה של טקסט שמקושר לתמונה ויכולת לעבוד בכמה שפות.
• CC3M-35L: צמדי תמונה-alt_text באנגלית שנאספו מדפי אינטרנט (Sharma et al., 2018). השתמשנו ב-Google Cloud Translation API כדי לתרגם ל-34 שפות נוספות.
• VQ²A-CC3M-35L/VQG-CC3M-35L: קבוצת משנה של VQ2A-CC3M (Changpinyo et al., 2022a), שתורגמו ל-34 השפות הנוספות שבהן זמין CC3M-35L, באמצעות Google Cloud Translation API.
• OpenImages: זיהוי ושאלות ותשובות שמתבססות על אובייקטים (Piergiovanni et al. 2022) שנוצרו על ידי כללים שנוצרו באופן ידני במערך הנתונים OpenImages.
• WIT: תמונות וטקסטים שנאספו מוויקיפדיה (Srinivasan et al., 2021).

PaliGemma 2 מבוסס על Gemma 2, ומידע על מערכי הנתונים של Gemma 2 שנוצרו לפני אימון זמין בכרטיס המודל של Gemma 2.

סינון לפי אחריות על נתונים

המסננים הבאים חלים על WebLI, במטרה לאמן את PaliGemma2 על נתונים בטוחים ואחראיים:

• סינון תמונות פורנוגרפיות: המסנן הזה מסיר תמונות שנחשבות לפורנוגרפיות.
• סינון טקסט לא בטוח: אנחנו מזהים תמונות שמשויכות לטקסט לא בטוח ומסננים אותן. טקסט לא בטוח הוא כל טקסט שנחשב לתוכן שמכיל תמונות של התעללות מינית בילדים (CSAI), פורנוגרפיה, ביטויים גסים או תוכן פוגעני אחר.
• סינון תוכן רעיל: אנחנו משתמשים ב-Perspective API גם כדי לזהות תמונות שמשויכות לטקסט שאנחנו מגדירים כפוגעני, מגונה, מעורר שנאה או רעיל אחרת, ולסנן אותן.
• סינון של מידע אישי בטקסט: סיננו מידע אישי מסוים ומידע אישי רגיש אחר באמצעות Cloud Data Loss Prevention API‏ (DLP) כדי להגן על הפרטיות של אנשים פרטיים. פרטים מזהים כמו מספרי תעודת זהות וסוגים אחרים של מידע רגיש הוסרו.
• שיטות נוספות: סינון על סמך איכות התוכן והבטיחות שלו, בהתאם למדיניות ולנוהלי העבודה שלנו.

מידע על ההטמעה

חומרה

PaliGemma 2 אומנה באמצעות החומרה מהדור האחרון של יחידת עיבוד נתונים טילר (TPU) (TPUv5e).

תוכנה

ההדרכה הושלמה באמצעות JAX,‏ Flax,‏ TFDS ו-big_vision.

JAX מאפשר לחוקרים לנצל את החומרה מהדור החדש, כולל TPU, כדי לאמן מודלים גדולים מהר יותר וביעילות רבה יותר.

TFDS משמש לגישה למערכי נתונים, ו-Flax משמש לארכיטקטורת המודל. הקוד של התאמת ה-PaliGemma 2 והקוד של ההסקה זמינים במאגר big_vision ב-GitHub.

פרטי ההערכה

תוצאות של בנצ'מרק

כדי לוודא שאפשר להעביר את PaliGemma 2 למגוון רחב של משימות אקדמיות, אנחנו מבצעים שיפורים ותיקונים במודלים שהותאמו מראש לכל משימה. אנחנו מדווחים על תוצאות ברזולוציות שונות כדי לספק מושג לגבי המשימות שמרוויחות מרזולוציה גבוהה יותר. חשוב לציין שאף אחת מהמשימות או מערכי הנתונים האלה לא נכללת בתערובת הנתונים של אימון מקדים, והתמונות שלהן הוסרו במפורש מנתוני האימון המקדים ברמת האינטרנט.

תוצאות של PaliGemma 2 לפי רזולוציה וגודל של הדגם

נקודות השוואה נוספות

ICDAR 2015 Incidental

Total-Text

FinTabNet

PubTabNet

GrandStaff

PubChem

• PaliGemma 2 3B, התאמה מלאה: 94.8

DOCCI

• avg#char: מספר התווים הממוצע
• avg#sent: מספר המשפטים הממוצע
• NES: משפטים ללא סתירה לוגית

MIMIC-CXR

חשיבה מרחבית חזותית

אתיקה ובטיחות

שיטת ההערכה

שיטות ההערכה שלנו כוללות בדיקות מוסדרות של אתיקה ובטיחות בהתאם לכללי המדיניות הרלוונטיים בנושא תוכן, כולל:

• הערכה אנושית של הנחיות בנושאי בטיחות ילדים, בטיחות תוכן ונזקים שקשורים לייצוג. פרטים נוספים על הגישה להערכה מופיעים בכרטיס המודל של Gemma, אבל עם הגדרות של הוספת כיתוב לתמונות ותשובות לשאלות חזותיות.
• הערכת נקודת השוואה של תמונה לטקסט: השוואה למערכי נתונים אקדמיים רלוונטיים, כמו FairFace Dataset‏ (Karkkainen et al., 2021).

תוצאות הבדיקה

• תוצאות הבדיקות האנושיות של האתיקה והבטיחות נמצאות בתוך ערכי הסף הקבילים לצורך עמידה במדיניות הפנימית בקטגוריות כמו בטיחות ילדים, בטיחות תוכן ונזקים שקשורים לייצוג.
• בנוסף לבדיקות פנימיות חזקות, אנחנו משתמשים גם ב-Perspective API (סף של 0.8) כדי למדוד רעילות, שפה גסה ובעיות פוטנציאליות אחרות בכתוביות שנוצרות לתמונות שמקורן במערך הנתונים של FairFace. אנחנו מדווחים על הערכים המקסימליים והחציוניים שנצפו בקבוצות משנה לכל אחד מהמאפיינים של המגדר, האתניות והגיל שנתפסים.

שימוש ומגבלות

שימוש מיועד

למודלים גדולים של שפה מבוססת-ראייה (VLMs) יש מגוון רחב של יישומים בתחומים ובתחומים שונים. רשימת השימושים האפשריים הבאה היא לא מקיפה. מטרת הרשימה הזו היא לספק מידע לפי הקשר לגבי תרחישים לדוגמה שאותם יוצרי המודל הגדירו כחלק מאימון ופיתוח המודל. המדיניות בנושא שימוש אסור ב-Gemma מפרטת את השימושים האסורים במודלים של Gemma.

שיפור נוסף של משימה ספציפית של שילוב בין ראייה לשפה:

• אפשר לשפר את המודלים שהוכשרו מראש במגוון רחב של משימות שמשלבות בין ראייה לטקסט, כמו יצירת כיתוב לתמונות, יצירת כיתוב לסרטונים קצרים, מענה על שאלות חזותיות, קריאת טקסט, זיהוי אובייקטים ופיצול אובייקטים.
• אפשר לשפר את המודל המאומן מראש לדומיינים ספציפיים, כמו מענה על שאלות באמצעות חיישנים מרחוק, שאלות חזותיות מאנשים עיוורים, מענה על שאלות בנושאי מדע ותיאור של פונקציות של רכיבי ממשק משתמש.
• אפשר לשפר את המודלים המאומנים מראש למשימות עם תוצאות פלט שאינן טקסט, כמו תיבות מלבניות או מסכות פילוח.

מחקר בתחום הראייה והשפה:

• המודלים המאומנים מראש והמודלים שעברו כוונון יכולים לשמש כבסיס לחוקרים כדי להתנסות בשיטות VLM, לפתח אלגוריתמים ולתרום להתקדמות בתחום.

שיקולים אתיים וסיכונים

הפיתוח של מודלים של שפה-ראייה (VLM) מעורר כמה חששות אתיים. כשיצרנו מודל פתוח, התייחסנו בקפידה לגורמים הבאים:

• הטיה והוגנות
  • מודלים של שפה חזותית (VLM) שמאומנים על נתונים גדולים של טקסט-תמונה בעולם האמיתי עשויים לשקף הטיות חברתיות-תרבותיות שמוטמעות בחומר האימון. המודלים האלה עברו בדיקה יסודית, תיארנו את העיבוד המקדים של נתוני הקלט והצגנו את ההערכות הבאות (posterior) בכרטיס הזה.
• מידע מוטעה ושימוש לרעה
  • אפשר להשתמש לרעה ב-VLM כדי ליצור טקסט שקרי, מטעה או מזיק.
  • יש הנחיות לשימוש אחראי במודל. אפשר לקרוא אותן במאמר Responsible Generative AI Toolkit.
• שקיפות ואחריותיות
  • בכרטיס המודל הזה מפורטים פרטים על הארכיטקטורה, היכולות, המגבלות ותהליכי ההערכה של המודלים.
  • מודל פתוח שפותח באופן אחראי מאפשר לשתף את החדשנות על ידי הנגשת טכנולוגיית VLM למפתחים ולחוקרים בסביבת ה-AI.

סיכונים שזוהו ומיטיגציות:

• המשך ההטיות: מומלץ לבצע מעקב רציף (באמצעות מדדי הערכה ובדיקות אנושיות) ולבחון שיטות להסרת ההטיות במהלך אימון המודלים, השיפורים האחרונים והתרחישי שימוש אחרים.
• יצירת תוכן מזיק: מנגנונים והנחיות לבטיחות התוכן חיוניים. אנחנו ממליצים למפתחים להפעיל שיקול דעת ולהטמיע אמצעי הגנה מתאימים לבטיחות התוכן, בהתאם למדיניות המוצר הספציפית ולתרחישים לדוגמה של שימוש באפליקציה.
• שימוש לרעה למטרות זדוניות: מגבלות טכניות והדרכה למפתחים ולמשתמשי קצה יכולות לעזור למנוע שימוש זדוני ב-LLM. אנחנו מספקים משאבים חינוכיים ומנגנוני דיווח כדי שמשתמשים יוכלו לדווח על שימוש לרעה. אפשר לקרוא על כך במאמר הערכה לשימוש אחראי ב-AI גנרטיבי. המדיניות בנושא שימוש אסור ב-Gemma מפרטת את השימושים האסורים במודלים של Gemma.
• הפרות פרטיות: המודלים הוכשרו על נתונים שסוננו כדי להסיר מידע אישי מסוים ונתונים רגישים. אנחנו ממליצים למפתחים לציית לתקנות בנושא פרטיות באמצעות שיטות לשמירה על הפרטיות.

מגבלות

• רוב המגבלות שעברו בירושה מהמודלים הבסיסיים של Gemma 2 עדיין חלות:
  • מודלים של VLM מתאימים יותר למשימות שאפשר להגדיר להן הנחיות והוראות ברורות. משימות פתוחות או מורכבות מאוד עשויות להיות מאתגרות.
  • שפה טבעית היא מורכבת מטבעה. יכול להיות ש-VLMs יתקשו להבין ניואנסים עדינים, סרקזם או שפה מטאפורית.
  • מודלים של VLM יוצרים תשובות על סמך מידע שהם למדו ממערכי הנתונים שלהם לצורך אימון, אבל הם לא מסדי ידע. הם עשויים ליצור הצהרות עובדתיות שגויות או לא עדכניות.
  • מודלים של VLM מסתמכים על דפוסים סטטיסטיים בשפה ובתמונות. יכול להיות שהם לא יוכלו להפעיל היגיון בריא במצבים מסוימים.
• PaliGemma 2 תוכנן בראש ובראשונה לשמש כמודל כללי שעבר אימון מראש, לצורך כוונון מדויק למשימות מיוחדות. לכן, הביצועים שלו 'מחוץ לקופסה' או 'ללא אימון' עשויים להיות נמוכים יותר ממודלים שמיועדים במיוחד לשימוש כללי.
• PaliGemma 2 הוא לא צ'אט בוט עם זיכרון. הוא מיועד לסבב אחד של קלט של תמונות וטקסט.