![](https://cdn-ak-scissors.b.st-hatena.com/image/square/a0d8cc5dc51738913a13017239bd5deb5d04e74e/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--EZHOH-_x--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3ARWKV%252520world%252520tokenizer%252520%2525E3%252581%2525AE%2525E6%252583%252585%2525E5%2525A0%2525B1%2525E3%252581%2525A8%252520C%25252B%25252B%252520%2525E3%252581%2525A7%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525A3%252585%2525E3%252583%2525A1%2525E3%252583%2525A2%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Asyoyo%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FiZTYxMTY5ZTYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
RWKV world tokenizer の情報と C++ での実装メモ
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
RWKV world tokenizer の情報と C++ での実装メモ
背景 LLM 向けコーパス構築で, TB 単位の文章に対して Suffix Tree 構築したいが, そのままでは 4N(4GB ... 背景 LLM 向けコーパス構築で, TB 単位の文章に対して Suffix Tree 構築したいが, そのままでは 4N(4GB 以下の文章. N = 入力文章のバイト数) or 8N(4GB 以上の文章)の容量が必要となる. つまり 1 TB の文章があったら 4 TB or 8 TB が必要... メモリ節約したいので入力文章を tokenize したい. しかし tokenizer の速度や vocab の少なさ(65536 以下なら uint16 で表現できる)も重要... RWKV world tokenizer がよさそうです! RWKV world tokenizer 特徴は... 多言語対応 数値もいい感じ ソースコードもいける 最長一致法(longest common prefix)でマッチングして tokenize ので実装が比較的かんたん(Trie 木をつくればよい)