Raspberry Piに人工無脳搭載してみた - さりんじゃーのプログラミング日記前回の記事に引き続きRaspberry Piネタ。マルコフ連鎖により文章を自動生成しLCDに出力してみた。 人工無脳とは 考えてるように見えて考えてない。ただ確率に従い文章を生成するプログラム。それでも人間から見ると、意味のある文章に見える文章が生成される。 基本的な生成手順は 元データを形態素解析して形態素毎に分割 マルコフ連鎖により再構成 形態素解析 自然言語で書かれた文を、形態素 (言語で意味を持つ最小単位) ごとに分割し、各形態素の品詞を特定することを形態素解析と呼ぶ。プログラムで自然言語を扱う場合、よく使われる技術の一つ。細かいことはWikipedia でも見てください。 日本語の形態素解析を行うためのツールは以下の様なものがある。 MeCab bi-gram マルコフモデル 学習モデルはCRF ChaSen 可変長マルコフモデル 学習モデルは隠れマルコフモデル(HMM) KyT
