はてなブックマーク

2013-06-27 Restricted Boltzmann Machine入門 (2) 機械学習 Deep Learning 前回の続きから 前回の記事の続きです。RBMの学習アルゴリズムについて調べたことを書きます。今回の内容に関して、D言語のサンプルコードらしきものをtaranai/DeepLearning · GitHubに置いています。*1 最尤推定と勾配法 勾配法 前回定義したRBMにおいて、観測変数に関する周辺分布はという形をしていました。（ここでは確率モデルのパラメータがだということがわかるように、あえてと書いています。）さて、学習というのは、「実際に観測されたデータを使ってモデルの真のパラメータを推定する」という逆問題を解きたいわけです。今回のRBMモデルに関してそれをするためには、最尤推定値、つまり対数尤度を最大にするようなパラメータを求めます。（統計学の立場的にコレ

2013-06-02 Restricted Boltzmann Machine入門 (1) 機械学習 Deep Learning はじめに Deep Learningというものが最近流行りですね。とてもきょうみがあります。そのためにはやはり、Restricted Boltzmann Machine(RBM)は避けて通れないようでしたので、自分で調べた内容を書きます。タイトルの「入門」とは初心者（私）が何かに入門した痕跡、という意味であります。*1RBMは2回に分けて書くつもりで、 今回はかなり遠回りで問題設定の確認 次回で学習アルゴリズムの紹介＆手書き文字認識をして遊ぶ という感じでやろうと思います。 グラフィカルモデルの話 はじめに、若干抽象的な話をします。グラフィカルモデルとは、その名の通り確率変数どうしの依存関係をグラフで表現したものです。 イメージとしては単純に、グラフの各ノード