論文紹介: Adding One Neuron Can Eliminate All Bad Local Minima - Qiita
tl; dr Liang et al., 2018. Adding One Neuron Can Eliminate All Bad Local Minima. NIPS. ある前提条件を満たすニューラルネットワークに、ある特殊なニューロン (exponential neuron) を1つ加えると、そのニューラルネットワークの局所解は大域最適な解になる 前提条件: 二値分類問題 特殊な損失関数（Cross entropyなどはダメ） Exponential neuron: $a \exp(\mathbf{w}^Tx + b)$ を入力から出力層へのskip connectionとして追加 提案手法を数学的に証明（実験はなし） 大域最適な解の汎化性、提案手法を導入したことによる局所解に至るまでの時間の変化については議論していないので注意。 @incollection{NIPS2018_768
Common Lispでゼロから作るディープラーニング （2）誤差逆伝搬法での学習 - Qiita
前回は既に学習済みのパラメータがあるものとして、そこからフォワード計算を行ない予測を出すところを実装しました。今回は、データからパラメータを学習するところの実装について考えてみます。具体的には、「ゼロから作るDeep Learning」の5章にある、計算グラフベースでの誤差逆伝搬法の実装と、それを使った隠れ層二層のニューラルネットの学習と予測について書こうと思います。 一応Githubにレポジトリ作りました（まだあまり整理されていない）。ちなみに処理系はSBCL 1.4.3で動作確認しています。 https://github.com/masatoi/cl-zerodl インストール手順は上記を参照してください。 準備 前回と同様に必要ライブラリを読み込み、作業用パッケージを定義しておきます。 metabang-bindは分配束縛などに対応したletの拡張版のような構文を導入するライブラリで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
