[janome 開発日誌] 前処理・後処理用の Analyzer フレームワークを追加した janome 0.3.4 をリリースしました janome のバージョン 0.3.4 をリリースしました。 形態素解析,前処理大事!解析後の処理もいろいろやりたい!・・・気づいたら同じような処理を色々なところで再実装してる・・・ということで,形態素解析の前処理・後処理を簡単にテンプレ化するためのフレームワーク(的なもの)を実装しました。(”Analyzer フレームワーク” と名づけている通り,Solr や Elasticsearch を使っている方はご存知の,Lucene の Analyzer をイメージしてもらえるとわかりやすいと思います。) 詳しくはドキュメントを参照いただくとして,だいたいの感触がわかる実行例を紹介します。ここでは以下の処理フローを定義して,解析対象の文字列に適用しています。