脳のように非同期学習を行うニューラルネットワークの実装 with keras tensorflow backend - rarilureloの日記

はじめに タイトルには脳の非同期学習というようにまるで脳が非同期的に学習をしているかのように書きましたが, そこんところ実際はどうなっているかよくわかりません. 自転車を漕ぎながら考えごとをしたり, サッカーでドリブルしながらシュートかパスか考えたり, 少なくとも思考と運動の処理自体は並列非同期であるよう私自身は思います. まぁよくわからないんですが, とりあえずニューラルネットワークでは非同期でも学習できたよ! というのが今回紹介する論文です. Decoupled Neural Interfaces using Synthetic Gradients 目次 はじめに 目次 どんなことをしているか DNI 実験 詳しい実験結果 追実験 実装 まとめ どんなことをしているか まず言葉の意味から行くと, Decoupledとは分離という意味です. なにを分離するのかというと層の依存関係を分離し

[sh19910711]

"自転車を漕ぎながら考えごとをしたり, サッカーでドリブルしながらシュートかパスか考えたり / 勾配の計算を上の層全て使うのではなく現在の層が出した値で近似してしまえば上からの誤差なんて待たずにすむやん" 2016

[nazoking]

まじでか・・・