Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation
Stochastic neurons and hard non-linearities can be useful for a number of reasons in deep learning models, but in many cases they pose a challenging problem: how to estimate the gradient of a loss function with respect to the input of such stochastic or non-smooth neurons? I.e., can we "back-propagate" through these stochastic neurons? We examine this question, existing approaches, and compare fou
Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation
We introduce Equilibrium Propagation, a learning framework for energy-based models. It involves only one kind of neural computation, performed in both the first phase (when the prediction is made) and the second phase of training (after the target or prediction error is revealed). Although this algorithm computes the gradient of an objective function just like Backpropagation, it does not need a s
Target Propagationの仕組み - ぱろっくの日記
この記事は、Deep Learning Advent Calendar 2016の23日目の記事です。 現在、Deep Learningではニューラルネットワークを学習させる手法として、誤差逆伝搬法がほとんどの場合使われています。 ですが、誤差逆伝播法(Back Propagation)は生物学的妥当性がない、要するに実際に人の脳とは違うのではないかということが言われており、 Difference Target Propagation という手法がICLR2015 workshopにて提案されました。 ここではDifference Target Propagationの元になっているTarget Propagationから解説し、Differenceの方を紹介しようと思います。 ※ちなみにBack Propagationについては別の記事で詳しく書いているので知らない方は見てみるといいかも
脳は誤差逆伝播しているか？
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
シナプス可塑性の重要論文リスト
シナプス可塑性の初心者へ 推薦論文リスト 大脳皮質＆大脳辺縁系のシナプス可塑性（主にLTP/LTDの実験）に関する要チェック論文をリストアップしました （＊＊必読論文、＊推薦論文。リストは今後も追加予定です） １．総説 （総説は概観をつかむために便利ですが、できるかぎり原著論文を読むように心がけましょう） ＊＊Bliss TV, Collingridge GL,. A synaptic model of memory: long-term potentiation in the hippocampus. Nature 361:31-39, 1993. LTP総説のclassic。ヘブの法則から３つの要素を選り抜いたクダリは今も読む価値がある。 Abraham WC, Bear MF, Metaplasticity: the plasticity of synaptic plasticity
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://deeplearning.jp/wp-content/uploads/2017/07/20150826_suzuki.pdf