Tokens verstehen und zählen

<ph type="x-smartling-placeholder"></ph>


Gemini und andere Modelle für generative KI verarbeiten Eingaben und Ausgaben mit einem Detaillierungsgrad wird als Token bezeichnet.

In diesem Leitfaden erfahren Sie, wie Sie die Kontextfenster bestimmter Modelle und wie Sie Tokens zählen für Anwendungsfälle wie Texteingabe, Chat, multimodales Modell Eingabe-, Systemanweisungen und -tools.

Tokens

Tokens können einzelne Zeichen wie z oder ganze Wörter wie cat sein. Lange Wörter in mehrere Tokens aufgeteilt werden. Der Satz aller vom Modell verwendeten Tokens ist wird als Vokabular bezeichnet und der Vorgang des Aufteilens von Text in Tokens Tokenisierung

Bei Gemini-Modellen entspricht ein Token etwa 4 Zeichen. 100 Tokens entsprechen etwa 60–80 deutschen Wörtern.

Wenn die Abrechnung aktiviert ist, betragen die Kosten für einen Aufruf der Gemini API: die teilweise durch die Anzahl der Eingabe- und Ausgabetoken bestimmt werden. können hilfreich sein.