ボルツマンマシン
トップページ→研究分野と周辺→ニューラルネットワーク→ ボルツマンマシンは、Hinton、Sejnowskiらによって1980年代半ばに開発された、確率的に動作するニューラルネットワーク。19世紀の物理学者で統計熱力学の創始者とされる、ボルツマン（Boltzmann）の名を用いた。 ネットワークの動作に温度の概念を取り入れ、最初は激しく徐々に穏やかに動作する（擬似焼きなまし法）ように工夫している。 最急降下法による誤差逆伝播法や、ホップフィールド・ネットワークは、局所解への捕捉が宿命的な問題としてある。 ボルツマンマシンは、確率的に敢えて良くない解に移動する事を取り入れ、局所解からの脱出を試み、成果を挙げた。しかし、計算時間が長い等の克服すべき課題もある。 ニューラルネットワークに擬似焼きなまし法を取り入れたものは、全て広い意味でのボルツマンマシンと考えられるが、ここでは、出力関数に取り入
これで解決！シリーズ 大学物理 - ボルツマン分布
ボルツマン分布ってなんだろう きみたち、そろそろ就職じゃろ？イシガス商事に入ってみないか？お給料は完全歩合制。きみたちはセールスマンだとして、商談を勝ち取ればお給料が増えるとする。でも、一個も商談を勝ち取らないと、お給料はゼロじゃ。 いやー、こんな会社（笑）。 商談を勝ち取る確率が1/2だったら、非常に話は簡単になるよね。二項分布ってやつじゃないの？ そうね。お給料の平均をもらう人が一番多い、っていう分布(↓)になりそうだわ。 しかし、ここの社長としては困ったことが起きた。月々によって、従業員に配る全人件費がちがうんじゃ。社員たちがどのくらい商談を勝ち取るかどうかは、為替だの原油価格だの、不確定な要素にも左右されるので、社員に配る給料が予期せず上下してしまう。ところが社長としては、予測可能なほうがいい。そんなわけで、全従業員に配る給料の総額をあらかじめ決めてしまうことにした。固定費は変動し
マルコフ確率場 (MRF) と条件付き確率場 (CRF) の違い | LESS IS MORE
一番の違いは、生成モデルか識別モデルか、ということ。それぞれ、 Markov Random Fields (MRF) は生成モデル Conditional Random Fields (CRF) は識別モデル です。 What is exactly the difference between MRF and CRF ここを見ると割とすっきりする。 ただ、少しスムーズに納得できないことがありまして…それは、MRFもCRFもグラフィカルモデルで書くと無向グラフとなること。識別モデルは無向グラフで生成モデルは有向グラフなんじゃ…？と思ってしまう人もいるんじゃないかと思う（いなかったらごめんなさい）。 グラフィカルモデルとしての表現 一般に、生成モデルは有向グラフの形で記述され、識別モデルは無向グラフとして記述される。例えば、隠れマルコフモデル (HMM) は有向グラフで、条件付き確率場 (CR
男のための機械学習〜RBMでA◯女優さんの共通特徴量を得よう〜 - 新kensuke-miの日記
いま、巷で話題（３年くらい前からだいぶ話題だけど）のDeep learningをア◯でも使えるpylearn2を使って見る。 Deep learningとは？ 一言で言うと「教師なしのニューラルネットをいっぱいつなげて多層ネットワーク化したもの。」 いままでは 前処理職人の丹精を込めた特徴量作り → 分類器（SVMとか、ロジスティック回帰とか、なんでもいいので関数）の学習 だったのが、 黒魔術で特徴量作り → 分類器（SVMとか、ロジスティック回帰とか、なんでもいいので関数）の学習 にできる。 黒魔術をもうちょっと紐解く 「黒魔術」って言ってるところでやっていることは「ベストな写像関数の学習」 もう少し、言葉を厳密に表現すると、「入力/ノイズ付き出力の変換をうまく表現できる関数の学習」 この関数はできるだけ良い[1]条件で別の空間に写像する。 なので、この関数が学習できると、特徴量空間に射
RBMから考えるDeep Learning ～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
