SentencePieceをpythonスクリプトから使ってみる | ぐぐりらにっき

こんにちは、ぐぐりら(@guglilac)です。 modelの学習はコマンドラインからやるのが普通、みたいな記事をみましたが、pythonからでもできるのでそちらでやります。 他の記事ではわざわざsubprocessを使ったりしていますが、普通にpythonライブラリにtrainerを用意してくれているのでありがたく使えばよいです。 日本語の記事がなかったので一応書きます sentence pieceとは 文章をいくつか区切ってそれらを機械学習モデルに食わせる、みたいなことはよくやります。 MeCabを使って形態素解析するのがよくやられる手法です。 Mecabでは対応する辞書を使って文章を分割します。辞書にはneologdとかがよく使われます。 これでも上手くいくことも多いですが、語彙数が大きくなってしまうことや、分割の仕方が分割したいデータセットに適していないこともあり、問題点だったりし

[knaka20blue]

“sp = spm.SentencePieceProcessor()”

[takinou0]

“sentence piece”の使い方