了解词元并计算词元数量


Gemini 和其他生成式 AI 模型以称为“令牌”的粒度处理输入和输出。

令牌简介

令牌可以是单个字符（例如 z），也可以是完整字词（例如 cat）。长单词会被拆分成多个词元。模型使用的所有令牌组称为词汇，而将文本拆分为令牌的过程称为令牌化。

对于 Gemini 模型，一个令牌大约相当于 4 个字符。100 个词元大约相当于 60-80 个英语单词。

启用结算功能后，调用 Gemini API 的费用在一定程度上取决于输入和输出令牌的数量，因此了解如何统计令牌会很有帮助。