LLMのトークン

LLM（大規模言語モデル）は文字ではなくトークン（token）というものを単位として処理します。トークンは単語に近いものですが、必ずしも単語とは一致しません。 文字列をトークンに分割するツールをトークナイザ（tokenizer）といいます。OpenAIのLLMでは tiktoken というトークナイザが使われます。tiktoken はいくつかのエンコーディング（トークン分割方式）に対応しており、古くは cl100k_base というエンコーディングが使われていましたが、GPT 4oからは o200k_base に変わりました。 pip install tiktoken して試してみましょう： import tiktoken enc = tiktoken.get_encoding("o200k_base") # または enc = tiktoken.encoding_for_model("g