<ph type="x-smartling-placeholder">
Gemini などの生成 AI モデルは、入力と出力をトークンという粒度で処理します。
このガイドでは、 特定のモデルのコンテキスト ウィンドウと、 テキスト入力、チャット、マルチモーダルなどのユースケースでトークンをカウントする システムの指示とツールが含まれます。
トークンについて
トークンには、z などの 1 文字または cat などの単語全体を使用できます。長い単語
いくつかのトークンに分割されますモデルで使用されるすべてのトークンのセットは、
があります。テキストをトークンに分割するプロセスを「語彙」と呼びます。
トークン化。
Gemini モデルの場合、1 個のトークンは約 4 文字に相当します。100 トークンは約 60～80 ワード（英語）に相当します。
課金が有効になっている場合、Gemini API の呼び出しの費用は、入出力トークンの数によって決まるため、トークンのカウント方法を把握しておくと便利です。