日本語のトークン計算、そんなに不利じゃなかった(けど英語のほうがまだまだ有利) - yoshidashingo

多くのLLMを利用できるAPIサービスで課金算出の対象となる「トークン」という単位。 以前GPT-3で計算した結果をもって「日本語はトークン消費が多くてかなり不利」という感覚を持ってましたが一部勘違いしてたみたい。 日本語の文章とその英語版(DeepLで直訳したもの)を用意して、GPT-3と、最近よく使うClaude(Anthropic社)とGPT-4(OpenAI)での計算をしてみる↓ from anthropic import Anthropic import tiktoken words_ja = '以下の条件を満たすJob Descriptionを日本語で作成してください。Job Descriptionには職務概要、ミッション・責任、求められるスキル・要件を必ず含めてください。' words_en = 'Please prepare a Job Description in Jap