Gemini などの生成 AI モデルは、入力と出力をトークンという粒度で処理します。
トークンについて
トークンは、z などの単一の文字や、cat などの単語全体にすることができます。長い単語は複数のトークンに分割されます。モデルで使用されるすべてのトークンのセットは語彙と呼ばれ、テキストをトークンに分割するプロセスはトークン化と呼ばれます。
Gemini モデルの場合、1 個のトークンは約 4 文字に相当します。100 トークンは約 60 ～ 80 ワード（英語）に相当します。
課金が有効になっている場合、Gemini API の呼び出しの費用は、入力トークンと出力トークンの数によって決まるため、トークンのカウント方法を把握しておくと便利です。