はてなブックマーク - 日本語Wikipediaデータを使ったsentencepieceを学習させる | 創造日記 https://b.hatena.ne.jp/entry/s/leck-tech.com/machine-learning/wikipedia-sentencepiece 環境は Ubuntu 18.04 (LTS) Python 3.7.3 Wikipediaデータの準備 以下のサイトを参考に進めていたが、若干勝手が違っていたのでここでもメモっておく。 Wikipediaからコーパスを作る ダウンロード とりあえず以下...