先日tkngさんより「CRFの目的関数は凹関数なので局所最適解は存在しない」とご指摘を受けたのですが、「あれ、凹関数であることをどうやって示せばいいのかな?」と考え、調べた結果をまとめます。大学1年生レベルの内容ですが復習がてらです。 Claim: CRFの目的関数は凹関数である。 まずこれを示すためにはある関数が凹関数であることをどうやって示すのか? Lemma 1: 凹関数であることを示すには関数の二階微分が正であることを示せばよい。多次元の引数を取る場合、ヘッセ行列が半正定値対称行列であることを示せばよい。 何でこれでよいか?と聞かれるとまだ説明ができませんが、イメージとしてあるのは「傾きが広義単調増加しているから関数がU字型のカーブを描く」というもの。 Lemma 2: Log-sum-exp は凹関数である。(実数上では) CRFの目的関数はアンダフローを防ぐため等の理由でlog