[を]CHALOW Search: cat:IIRマルコフ連鎖と形態素解析でランダムな文章を生成する 2023-06-08-1 [Programming][NLP][IIR][WebAPI] 15年前に書いた記事のリニューアル版です。 RSS を読み込んでランダムな文章を生成する[2008-09-07-3] 前回と同様、bigram language model に基づく、ランダム文生成を行います。 ある単語の次に現れる単語の分布を用いて、文章を生成していくだけです。 形態素解析（日本語の単語の認識）は、Yahoo!デベロッパーネットワークのテキスト解析 API の日本語形態素解析 (V2) を使います。 ベースとなるテキストデータは「日本国憲法」(nkkp.txt) を使います (ref. [2023-06-07-1])。 プログラム mamarkov-build.pl で、テキストデータ (nkkp.txt) を形態素解析し、「ある単
