はじめに DoubleArray を作ったこともあって,ついでに形態素解析器も作ってみようと思い立ち kuromoji を参考に形態素解析器を実装してみました.目標としては,Pure Go で kuromoji みたいな感じ(辞書内包,検索モードあり,スレッドセーフ)を目指します. サンプルプログラム 参考 下記を参考にさせていただきました. kuromoji 日本語入力を支える技術 Mecab 品詞IDの定義 形態素解析のちょー適当な説明 「形態素」が何であるかを議論し出すと面倒なことに巻き込まれそうなので,ここでは MeCab-IPADIC で定義されているものとします.形態素解析のアルゴリズムについては下記の資料などをあたってください. 日本語入力を支える技術 日本語解析ツール MeCab, CaboCha の紹介 用意するもの DoubleArray #前に作ったものを id が記
![Pure Go な形態素解析器で実行バイナリに辞書埋め込んだヤツを作ってみた (1) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f2c19a0c99195a7c3670a4d52d83090f8cd14bc/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9UHVyZSUyMEdvJTIwJUUzJTgxJUFBJUU1JUJEJUEyJUU2JTg1JThCJUU3JUI0JUEwJUU4JUE3JUEzJUU2JTlFJTkwJUU1JTk5JUE4JUUzJTgxJUE3JUU1JUFFJTlGJUU4JUExJThDJUUzJTgzJTkwJUUzJTgyJUE0JUUzJTgzJThBJUUzJTgzJUFBJUUzJTgxJUFCJUU4JUJFJTlFJUU2JTlCJUI4JUU1JTlGJThCJUUzJTgyJTgxJUU4JUJFJUJDJUUzJTgyJTkzJUUzJTgxJUEwJUUzJTgzJUE0JUUzJTgzJTg0JUUzJTgyJTkyJUU0JUJEJTlDJUUzJTgxJUEzJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJTIwJTI4MSUyOSZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MzRlZTNjMzI0ZDZhYmM3OGJhZDhiNDY3MDdjNDQ4Yzk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBpa2F3YWhhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0yYTFjZmYxMTBmMGY3MzJlOTk5M2EwZTliNjhiNmFmYw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Da867e6c8d75387c03d803e36094e853c)