Shake Shakeの実装と簡単な解説 - む前書き 最近画像系コンペに再び参加してみようと思い，既存の分類精度が高いモデルをもう一度調べたいと思ったので，メモ程度に残したいと思います. Shake Shakeとは Shake ShakeとはResNetの一種で，中間層でdata augmentationをしており正則化をしています． shake shakeのモデル図は，以下のように2つに分岐しており分岐しています． foward時はそれぞれの最後でαi ∈ [0, 1] を乗算しbackward時はαiとは異なる βi ∈ [0, 1] を使用します．またtest時は0.5で固定してやるそうです． forward時のこれは，画像に含まれる物体の割合が変化してもロバストに識別ができるように学習ができるようです. backward時は，勾配にノイズを加えると精度が向上するためであり，αiと違う乱数を用いいることでさらに強い正則化効果を持
