"Understanding Dropout" (Baldi, NIPS 2013) メモランダム - 渋谷駅前で働くデータサイエンティストのブログちょっと今週は忙し過ぎて新しいことに取り組んでいる時間が1秒たりとも見つからないので、少し前にやった例の弊社分析チーム論文輪読会のネタをそのまま転載しておきますorz 元ネタはこちら。 ちなみに式を丸写しするのは面倒だったので、あくまでも資料として必要な部分にしかtexは書いてませんｗ ということで上記リンクから元論文をDLした上で、見比べながらお読みくださいｗ 1 Introduction そもそもdropoutはNIPS 2012で提案されたナイスなアイデアで、汎化性能は高めるし良いことずくめ。ランダムフォレストで個々の木ごとにランダムに素性を選択するのと同じように、サンプルごとに形成されるNN同士の相関を下げ、精度向上に貢献する。 けれどもその理論的背景は今のところ不明。なので、0.5という数字にこだわる必要があるのかどうかも分からないし、層ごとに変えた方がいいんじゃないかとかそうい
