"Understanding Dropout" (Baldi, NIPS 2013) メモランダム - 渋谷駅前で働くデータサイエンティストのブログ

ちょっと今週は忙し過ぎて新しいことに取り組んでいる時間が1秒たりとも見つからないので、少し前にやった例の弊社分析チーム論文輪読会のネタをそのまま転載しておきますorz 元ネタはこちら。 ちなみに式を丸写しするのは面倒だったので、あくまでも資料として必要な部分にしかtexは書いてませんｗ ということで上記リンクから元論文をDLした上で、見比べながらお読みくださいｗ 1 Introduction そもそもdropoutはNIPS 2012で提案されたナイスなアイデアで、汎化性能は高めるし良いことずくめ。ランダムフォレストで個々の木ごとにランダムに素性を選択するのと同じように、サンプルごとに形成されるNN同士の相関を下げ、精度向上に貢献する。 けれどもその理論的背景は今のところ不明。なので、0.5という数字にこだわる必要があるのかどうかも分からないし、層ごとに変えた方がいいんじゃないかとかそうい

[stealthinu]

DropoutがなぜL2正規化にあたるのかという説明になるようなのだがぜんぜんわからん。数学的に確率0.5でDropoutさせるのが一番効果的となるとのこと。

[rishida]

“dropout ratio = 0.5の時にL2正則化の効果が最大になる”

[elu_18]

#it #機械学習 #論文 "Understanding Dropout" (Baldi, NIPS 2013) メモランダム - 銀座で働くData Scientistのブログ.. http://t.co/X9C0JDT7of