形態素解析とngram,マルコフ連鎖を組み合わせる 前回紹介した記事では rabbitfoot141.hatenablog.com ngramをいくつかの文字で分割するタイプにしたが今回は形態素解析を用いていくつかの形態素で分割し、マルコフ連鎖を使って文章を生成する。 今回の概要 形態素解析は今回はライブラリを用いて行う。 言語はScalaで書くので「kuromoji」を用いる。 ビルドツールにsbtを用いているのでbuild.sbtに次を追加。 resolvers += "Atilika Open Source repository" at "http://www.atilika.org/nexus/content/repositories/atilika" libraryDependencies ++= Seq( "org.atilika.kuromoji" % "kuromoji"