了解词元并计算词元数量


Gemini 和其他生成式 AI 模型可精细地处理输入和输出 称为“令牌”

本指南将介绍如何获取 特定模型的上下文窗口以及如何 计算词元数量,适用于文本输入、聊天、多模态等应用场景 输入、系统说明和工具。

关于令牌

词元可以是单个字符(如 z),也可以是整个字词(如 cat)。长字词 被分解为多个词元。模型使用的所有词元的集合是 这个过程称为词汇表,将文本拆分为词元的过程称为 词元化

对于 Gemini 模型,一个词元大约相当于 4 个字符。 100 个词元大约相当于 60-80 个英语单词。

启用结算功能后,Gemini API 的通话费用为 部分取决于输入和输出词元的数量, 会很有帮助。