トークンを理解してカウントする | Gemini API | Google AI for Developers

Python Node.js Go Gemini などの生成 AI モデルは、入力と出力をトークンという粒度で処理します。 トークンについて トークンは、z のような単一の文字や、cat のような単語全体にすることができます。長い単語は複数のトークンに分割されます。モデルで使用されるすべてのトークンのセットは語彙と呼ばれ、テキストをトークンに分割するプロセスはトークン化と呼ばれます。 Gemini モデルの場合、1 個のトークンは約 4 文字に相当します。100 トークンは約 60 ～ 80 ワード（英語）に相当します。 課金が有効になっている場合、Gemini API の呼び出しの費用は、入力トークンと出力トークンの数によって決まるため、トークンのカウント方法を把握しておくと便利です。