Gemini ומודלים אחרים של AI גנרטיבי מעבדים את הקלט והפלט ברמת פירוט שנקרא אסימון.
במדריך הזה נסביר איך לקבל חלונות הקשר של מודלים ספציפיים, וגם הנחיות ספירת אסימונים לתרחישים לדוגמה כמו קלט טקסט, צ'אט, ריבוי מצבים הקלט, ההוראות והכלים של המערכת.
מידע על אסימונים
האסימונים יכולים להיות תווים בודדים כמו z או מילים שלמות כמו cat. מילים ארוכות
מפורקות לכמה אסימונים. קבוצת כל האסימונים שבהם המודל משתמש
שנקרא אוצר המילים, והתהליך של פיצול טקסט לאסימונים נקרא
יצירת אסימון (טוקניזציה).
במודלים של Gemini, האסימון מקביל ל-4 תווים בערך. 100 אסימונים שווה בערך ל-60-80 מילים באנגלית.
כשהחיוב מופעל, העלות של קריאה ל-Gemini API נקבעת בחלקה לפי מספר האסימונים של הקלט והפלט, ולכן כדאי לדעת איך לספור את האסימונים.