[補足] 日本語のトークン効率 GPT-4o 以降のモデルは o200k_base という新しいエンコーディングが使われていて、英語以外のローカル言語のトークン効率が向上しています。日本語において GPT-4 Turbo 以前の cl100k_base が使われているモデルと比較すると、OpenAI による GPT-4o のリリース記事の例では約 30%、個人的な検証の結果では約 27% トークン効率が向上していました。 参考 GPT-4 and GPT-4 Turbo models Hello GPT-4o OpenAI 言語モデルで日本語を扱う際のトークン数推定指標 OpenAI 言語モデルごとのエンコーディング一覧 リージョン 執筆時点 (API 公開時点) で GPT-4o mini は Global standard デプロイと Standard デプロイの両方で East US