RWKV world tokenizer の情報と C++ での実装メモ

背景 LLM 向けコーパス構築で, TB 単位の文章に対して Suffix Tree 構築したいが, そのままでは 4N(4GB 以下の文章. N = 入力文章のバイト数) or 8N(4GB 以上の文章)の容量が必要となる. つまり 1 TB の文章があったら 4 TB or 8 TB が必要... メモリ節約したいので入力文章を tokenize したい. しかし tokenizer の速度や vocab の少なさ(65536 以下なら uint16 で表現できる)も重要... RWKV world tokenizer がよさそうです! RWKV world tokenizer 特徴は... 多言語対応 数値もいい感じ ソースコードもいける 最長一致法(longest common prefix)でマッチングして tokenize ので実装が比較的かんたん(Trie 木をつくればよい)