Zadbaj o dobrą organizację dzięki kolekcji
Zapisuj i kategoryzuj treści zgodnie ze swoimi preferencjami.
Gemini i inne modele generatywnej AI przetwarzają dane wejściowe i wyjściowe z dokładnością
nazywany tokenem.
Z tego przewodnika dowiesz się, jak uzyskać
okna kontekstów konkretnych modeli i dowiedz się, jak
tokeny liczenia na potrzeby przypadków użycia takich jak wprowadzanie tekstu, czat, tryb multimodalny
oraz instrukcje i narzędzia systemowe.
Informacje o tokenach
Tokenami mogą być pojedyncze znaki, np. z, lub całe słowa, np. cat. Długie słowa
są podzielone na kilka tokenów. Zbiór wszystkich tokenów używanych przez model to
to słownictwo, a proces dzielenia tekstu na tokeny nazywa się
tokenizacji.
W przypadku modeli Gemini token jest odpowiednikiem około 4 znaków.
100 tokenów to około 60–80 angielskich słów.
Gdy włączone są płatności, koszt wywołania interfejsu Gemini API wynosi
określane częściowo na podstawie liczby tokenów wejściowych i wyjściowych, dzięki czemu wiesz,
tokeny licznika,
mogą być pomocne.
