了解词元并计算词元数量

Python JavaScript Go

Gemini 和其他生成式 AI 模型会以一种称为“token”的粒度处理输入和输出。

令牌简介

词元可以是单个字符（例如 z），也可以是整个字词（例如 cat）。长字词会被拆分为多个词元。模型使用的所有令牌的集合称为词汇，将文本拆分为令牌的过程称为分词。

对于 Gemini 模型，一个 token 相当于大约 4 个字符。 100 个 token 相当于大约 60-80 个英文单词。

启用结算功能后，对 Gemini API 的调用的费用部分取决于输入和输出令牌的数量，因此了解如何计算令牌数量会很有帮助。