LLMコストの盲点: 日本語トークナイザー効率で変わる実質コスト比較(GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, PLaMo 2.1 Prime) - Legalscapeテックブログ

はじめに こんにちは、LegalscapeでAIエンジニア/データサイエンティストをしている富田です。 皆さんは各LLMの本当のコストを測ったことがありますか？ 1Mtokenあたり○ドルという料金表は確認されていると思いますが、実は各LLMの日本語に対するトークン効率は大きく異なっており、全く同じ文字数の入出力でも、消費されるトークン数＝コストは大きく変わります。 そこで今回は、代表的なLLM（GPT-5、Claude Sonnet 4.5、Gemini 2.5 Pro、PLaMo 2.1 Prime）のトークナイザーの考え方を概観したのち、弊社が直面している「日本語の法律文書」におけるトークン効率を実測し、日本語100万文字あたりの実質コストを比較してみます。 各LLMのトークナイザーの概観 GPT-5 OpenAI社のGPT-5は、Byte Pair Encoding（BPE）アルゴ