概要 趣味や業務でpython環境で自然言語処理のコードを書くことが多いが、 形態素解析(分かち書き)をしてくれるライブラリが多くてどれが最適か分からない とりあえず速度と分かち書きの性能を比較してみよう!!! ※2023/11/17修正 遅延評価で実装されているライブラリを適切に評価できていなかったため検証方法を変更、それにともない結論を変更しています 結論 python上での形態素解析ライブラリは、 Vibratoが高速に実行可能 で、 Mecabの結果とvibratoの結果は参照する辞書が同じ場合大差がなかった。 そのため、速度を気にする処理を実装する場合はvibratoの利用を検討するべきと判断した。 python上での形態素解析ライブラリは、 JanomeとVibratoが高速に実行可能 で、 その2つの結果は参照する辞書が同じ場合大差がなかった。 個人的にはJanomeの関数の
![【2023年版】python環境で利用できる日本語形態素解析ライブラリを比較してみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0fe86a293e126b0c2e2853d04a446b95990070d9/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgwJTkwMjAyMyVFNSVCOSVCNCVFNyU4OSU4OCVFMyU4MCU5MXB5dGhvbiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MSVBNyVFNSU4OCVBOSVFNyU5NCVBOCVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4QiVFNiU5NyVBNSVFNiU5QyVBQyVFOCVBQSU5RSVFNSVCRCVBMiVFNiU4NSU4QiVFNyVCNCVBMCVFOCVBNyVBMyVFNiU5RSU5MCVFMyU4MyVBOSVFMyU4MiVBNCVFMyU4MyU5NiVFMyU4MyVBOSVFMyU4MyVBQSVFMyU4MiU5MiVFNiVBRiU5NCVFOCVCQyU4MyVFMyU4MSU5NyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NjMzZTg1OGIyZGZkNGM0NTBkY2JhODgwZTUyNzEyNmM%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwZTEwcGVyc29uYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YWI4MzYyZGMzMzZjOTkxODY4NzViZmU4YWRiYWRhYWM%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D310088525c874d2b32994427bd21b7c1)