韻を扱いたいpart3 - Qiita

内容 前回の流れで、MeCabをもう少し活用したい。分かち書きでは細分化され過ぎていた。MeCabを用いて分節分けのようなことを行っていく。CabochaやKNPがあるよーっていうのは知らないこととする（何度でも言うぞ、黄色いB-boy折角のMeCabを使いたいのだ）。形態素解析は使っていないので、形態素解析して付属語（助詞、助動詞）は前の言葉にくっつけるという方針でやってみる。 付属語の連結 結果から言うとMeCabは使わなかった。表層形と品詞だけが必要なので、janomeの方が簡潔と判断した。ただ、MeCabでも色々試し、DataFrameに入れる記事とかも読み、for分で変に回してしまいメモリーエラーにもなったので、そこそこ楽しめた 下記のコードで付属語を連結することによって、分割された言葉の長さが平均2.96となった（分かち書きでは2.16）。 from janome.tokeni