タグ

physicsに関するteddy-gのブックマーク (2)

  • ボルツマンマシン

    トップページ→研究分野と周辺→ニューラルネットワーク→ ボルツマンマシンは、Hinton、Sejnowskiらによって1980年代半ばに開発された、確率的に動作するニューラルネットワーク。19世紀の物理学者で統計熱力学の創始者とされる、ボルツマン(Boltzmann)の名を用いた。 ネットワークの動作に温度の概念を取り入れ、最初は激しく徐々に穏やかに動作する(擬似焼きなまし法)ように工夫している。 最急降下法による誤差逆伝播法や、ホップフィールド・ネットワークは、局所解への捕捉が宿命的な問題としてある。 ボルツマンマシンは、確率的に敢えて良くない解に移動する事を取り入れ、局所解からの脱出を試み、成果を挙げた。しかし、計算時間が長い等の克服すべき課題もある。 ニューラルネットワークに擬似焼きなまし法を取り入れたものは、全て広い意味でのボルツマンマシンと考えられるが、ここでは、出力関数に取り入

    teddy-g
    teddy-g 2016/12/26
    ボルツマンマシンの話で出てくる擬似焼きなまし法をシンプルに説明。温度を高→低にすることで最適解を得る。シグモイドは徐々にそれっぽいものに落ち着く。
  • これで解決!シリーズ 大学物理 - ボルツマン分布

    ボルツマン分布ってなんだろう きみたち、そろそろ就職じゃろ?イシガス商事に入ってみないか?お給料は完全歩合制。きみたちはセールスマンだとして、商談を勝ち取ればお給料が増えるとする。でも、一個も商談を勝ち取らないと、お給料はゼロじゃ。 いやー、こんな会社(笑)。 商談を勝ち取る確率が1/2だったら、非常に話は簡単になるよね。二項分布ってやつじゃないの? そうね。お給料の平均をもらう人が一番多い、っていう分布(↓)になりそうだわ。 しかし、ここの社長としては困ったことが起きた。月々によって、従業員に配る全人件費がちがうんじゃ。社員たちがどのくらい商談を勝ち取るかどうかは、為替だの原油価格だの、不確定な要素にも左右されるので、社員に配る給料が予期せず上下してしまう。ところが社長としては、予測可能なほうがいい。そんなわけで、全従業員に配る給料の総額をあらかじめ決めてしまうことにした。固定費は変動し

    teddy-g
    teddy-g 2016/12/26
    ボルツマン分布は限られた資源を取り合いするときの場合の数が最大になるような分布=エントロピー(場合の数の比)が最大になるような分布。詳細説明は有料。
  • 1