機械学習は統計学的な手法から発展してきたこともあり、ベイズの定理による確率論的な定式化が一般的である。しかし、最近流行りのディープラーニングなどを理解しようと思うと、決定論的な立場から定式化しておくほうがわかりやすいと思われる。 僕はこのように理解しているという感想記事です。わかりやすいかはわかりませんが、ざっくりはわかると思います。 教師あり学習の定式化 教師学習とは : 関数に対して、 : 学習データ上の値が与えられた時、 : 関数族(モデル)と : コスト関数を選び、 コスト関数の総和 を最小化(*アルゴリズム)し、かつ任意のテストデータに対しても、 が最小となる(*汎化性)ような、 を選ぶことである。 と定式化してみる。これにより、なにがヒューリスティックに選ぶべきもので、なにがアルゴリズムなどで行うものなのかが明確になり、どこの議論をしているのかがわかりやすくなると思う。 回帰と