了解词元并计算词元数量

Python Node.js 前往

Gemini 和其他生成式 AI 模型可精细地处理输入和输出 称为“令牌”。

本指南将介绍如何获取 特定模型的上下文窗口以及如何 计算词元数量，适用于文本输入、聊天、多模态等应用场景 输入、系统说明和工具。

关于令牌

词元可以是单个字符（如 z），也可以是整个字词（如 cat）。长字词 被分解为多个词元。模型使用的所有词元的集合是 这个过程称为词汇表，将文本拆分为词元的过程称为 词元化。

对于 Gemini 模型，一个词元大约相当于 4 个字符。 100 个词元大约相当于 60-80 个英语单词。

启用结算功能后，Gemini API 的通话费用为 部分取决于输入和输出词元的数量， 会很有帮助。