mecab-NEologdを使うと語彙はどのくらい増えるのか - studylog/北の雲mecab-ipadic-neologdを使って形態素解析すると語彙が増えすぎてしまうんじゃないかという心配があったので調べてみた。 (追記訂正：最初のデータは間違っていました。ごっそり消してwikipediaの詳細データだけ掲載します。すみません。) コーパスのテキスト量と増加率の関係を見たかったのでwikipediaの日本語版を項目数(記事数)で483分割して処理。コーパスNo.がおおよそのコーパステキスト量に該当します。コーパスNo.10はNo.1のおおよそ10倍のテキスト量。ただあくまで「項目数」での分割なので正確なデータでは無いです。 コーパスNo デフォルト NEolodg 増加率(%) 1 46258 58556 26.6 2 68258 88678 29.9 3 84709 111791 32.0 4 99337 132455 33.3 5 113074 152992 35
