>>> from transformers import AutoTokenizer >>> tkz=AutoTokenizer.from_pretrained("K-walk/chimaki-2b-base") >>> print(tkz.convert_ids_to_tokens(tkz("国境の長いトンネルを抜けると雪国であった。","夜の底が白くなった。")["input_ids"])) ['<bos>', '国', '境', 'の', '長い', 'トンネル', 'を', '抜け', 'ると', '雪', '国', 'であった', '。', '<bos>', '夜の', '底', 'が', '白', 'くなった', '。'] 残念ながら、日本語トークナイザとしてはボロボロだ。特に「抜け」「ると」のあたりは、単語の切れ目を完全に無視していて、日本語における言語処理としては話にならな
![chimaki-2b-baseは『雪国』の冒頭をどうトークナイズするのか - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3116217ac76cbc98ea14acd2cc7db7af08d1288c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9Y2hpbWFraS0yYi1iYXNlJUUzJTgxJUFGJUUzJTgwJThFJUU5JTlCJUFBJUU1JTlCJUJEJUUzJTgwJThGJUUzJTgxJUFFJUU1JTg2JTkyJUU5JUEwJUFEJUUzJTgyJTkyJUUzJTgxJUE5JUUzJTgxJTg2JUUzJTgzJTg4JUUzJTgzJUJDJUUzJTgyJUFGJUUzJTgzJThBJUUzJTgyJUE0JUUzJTgyJUJBJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUFFJUUzJTgxJThCJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1mOGFlMzI0MWNhNWZlOGJiNDJkNzZjODIzZWU2MmZiNA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBLb2ljaGlZYXN1b2thJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hNjdhNjQxNjVjMWI2M2Q2YzUzMmU5OTIxNjE4NjUxZQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D4e36dffecb5b10b655a54cb9a169fc2a)