המודל של Gemini ומודלים אחרים של AI גנרטיבי מעבדים קלט ופלט ברמת פירוט שנקראת אסימון.
מידע על אסימונים
אסימונים יכולים להיות תווים בודדים כמו z או מילים שלמות כמו cat. מילים ארוכות מחולקות לכמה טוקנים. קבוצת כל האסימונים שבהם המודלים משתמשים נקראת אוצר מילים, והתהליך של פיצול הטקסט לאסימונים נקרא יצירת אסימונים.
במודלים של Gemini, אסימון שווה ל-4 תווים בערך. 100 אסימונים שווים ל-60-80 מילים באנגלית.
כשהחיוב מופעל, העלות של קריאה ל-Gemini API נקבעת בחלקה לפי מספר אסימוני הקלט והפלט, ולכן כדאי לדעת איך לספור את האסימונים.