概要 Rust製の形態素解析器Linderaを使用して、テキストファイルに含まれる日本語の語数を数えるプログラムを作成しました。Linderaの使用方法と、並列処理ライブラリrayonによる処理の高速化について解説します。 Rustについて Rustは、CやC++と同等の高速・低レイヤーのプログラミングが可能でありながら、メモリ安全性に重点をおいたプログラミング言語です。2015年にバージョン1.0がリリースされた比較的新しい言語であり、近年人気を集めています。 自然言語処理にRustを使う動機 Rustを勉強中である著者が「使ってみたかった」というのが一番の動機です。 それ以外には、 Rustによる日本語の自然言語処理の例は、ネット上でそれほどたくさんは見かけないので、やってみた。 それなりの大きさのテキストファイル(数百メガバイト)を分かち書きするのに、例えばPythonで処理するのと
![Rust製の形態素解析器Linderaを使って日本語の語数を数える - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b59fe7649fda21b14718b365ae1d3be62746c040/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9UnVzdCVFOCVBMyVCRCVFMyU4MSVBRSVFNSVCRCVBMiVFNiU4NSU4QiVFNyVCNCVBMCVFOCVBNyVBMyVFNiU5RSU5MCVFNSU5OSVBOExpbmRlcmElRTMlODIlOTIlRTQlQkQlQkYlRTMlODElQTMlRTMlODElQTYlRTYlOTclQTUlRTYlOUMlQUMlRTglQUElOUUlRTMlODElQUUlRTglQUElOUUlRTYlOTUlQjAlRTMlODIlOTIlRTYlOTUlQjAlRTMlODElODglRTMlODIlOEImdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTA1NzZhNzkzNWI4NWI2NGZlZDFlNjI3YTgyNjEwZGNk%26mark-x%3D142%26mark-y%3D100%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDBtdXImdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTg5YTQyY2FkNmQ4MWZmYmVhY2I5MjQyMzYyZDFjZGVh%26blend-x%3D142%26blend-y%3D504%26blend-mode%3Dnormal%26s%3Dd62e5774b25c7e6bf1f9d3d966afd353)