高村本でCRFのお勉強をしたのでメモ - EchizenBlog-Zwei「言語処理のための機械学習入門」通称高村本でCRF(Conditional Random Fields, 条件付き確率場)のお勉強をしたのでメモしておく。 まず最初に世界には単純な線形識別関数があった。 y = wxこの線形識別関数で、素性はxそのもの。人々はよりリッチな素性が欲しくなったので事例xと正解ラベルtによって定まる素性φ(x, t)を思いついた。つまり y = wφ(x, t)である。さらにこれを確率化したくなった。確率とはつまり 1: P(x) >= 0 2: ΣP(x) = 1を満たす関数のこと。まずは1:を考える。つねにゼロ以上の値をとればよいのでyをexp(y)とする。こうすると y = -∞ => exp(y) = 0 y = ∞ => exp(y) = ∞ となりゼロ以上になることが保障される。つぎに2:を考える。足して1にするには全てのexp(y)の和で各exp(
