Gemini dhe modele të tjera gjeneruese të AI përpunojnë hyrjen dhe daljen në një shkallëzim të quajtur token .
Rreth argumenteve
Shenjat mund të jenë karaktere të vetme si z
ose fjalë të tëra si cat
. Fjalët e gjata ndahen në disa shenja. Grupi i të gjithë shenjave të përdorura nga modeli quhet fjalor, dhe procesi i ndarjes së tekstit në token quhet tokenizimi .
Për modelet Gemini, një shenjë është e barabartë me rreth 4 karaktere. 100 argumente janë të barabarta me rreth 60-80 fjalë angleze.
Kur faturimi është i aktivizuar, kostoja e një telefonate në API të Gemini përcaktohet pjesërisht nga numri i kodeve hyrëse dhe dalëse, kështu që të dish se si të numërosh argumentet mund të jetë e dobishme.
,Binjakët dhe modelet e tjera gjeneruese të AI përpunojnë hyrjen dhe daljen në një kokrrizë të quajtur një shenjë .
Rreth Tokens
Shenjat mund të jenë personazhe të vetëm si z
ose fjalë të tëra si cat
. Fjalët e gjata ndahen në disa shenja. Seti i të gjitha shenjave të përdorura nga modeli quhet fjalori, dhe procesi i ndarjes së tekstit në shenja quhet tokenization .
Për modelet e Binjakëve, një shenjë është e barabartë me rreth 4 karaktere. 100 shenja janë të barabarta me rreth 60-80 fjalë angleze.
Kur aktivizohet faturimi, kostoja e një thirrje në API të Binjakëve përcaktohet pjesërisht nga numri i shenjave të hyrjes dhe daljes, kështu që të dish se si të numërosh shenjat mund të jetë e dobishme.
,Gemini and other generative AI models process input and output at a granularity called a token .
About tokens
Tokens can be single characters like z
or whole words like cat
. Long words are broken up into several tokens. The set of all tokens used by the model is called the vocabulary, and the process of splitting text into tokens is called tokenization .
For Gemini models, a token is equivalent to about 4 characters. 100 tokens is equal to about 60-80 English words.
When billing is enabled, the cost of a call to the Gemini API is determined in part by the number of input and output tokens, so knowing how to count tokens can be helpful.