論文まとめ：Shake-Shake regularization - Qiita

はじめに ICLR2017から正則化関連の以下の論文 [1] X. Gastaldi, "Shake-Shake regularization" のまとめ。 arXiv： https://arxiv.org/abs/1705.07485 著者のGithubコード： https://github.com/xgastaldi/shake-shake torchを使ってる。 概要 正則化の１つ ResNetのredisual block における 2 つの経路に対して順伝播時はランダムな掛け率 $\alpha$と$1 - \alpha$ で足し合わせる。 逆伝播時は $\alpha$ とは異なる $\beta$ を用いて計算する しくみ 以下の[1]Figure 1 で説明する。 図のような residualなstreamが２つある場合を考える。単純なresidual blockだと x_{i