Gemini i inne modele generatywnej AI przetwarzają dane wejściowe i wyjściowe z dokładnością tzw. tokenem.
Z tego przewodnika dowiesz się, jak uzyskać okna kontekstu dla konkretnych modeli oraz jak zliczać tokeny w przypadkach użycia takich jak wprowadzanie tekstu, czat, wprowadzanie multimodalne oraz instrukcje i narzędzia systemowe.
Informacje o tokenach
Tokeny mogą być pojedynczymi znakami, np. z, lub całymi słowami, np. cat. Długie słowa są dzielone na kilka tokenów. Zbiór wszystkich tokenów używanych przez model nosi nazwę słownika, a proces dzielenia tekstu na tokeny nazywany jest tokenizacją.
W przypadku modeli Gemini token odpowiada około 4 znakom. 100 tokenów to około 60–80 słów w języku angielskim.
Gdy płatności są włączone, koszt wywołania interfejsu Gemini API jest określany częściowo na podstawie liczby tokenów wejściowych i wyjściowych, więc wiedza o tym, jak liczyć tokeny, może być pomocna.