[Survey]Deep Residual Learning for Image Recognition - Qiita

Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun ImageNetのCompetitionで１位になったMSRAの論文 ・network層をdeepにすることは性能向上に欠かせない。 ・しかし、Deepにすると性能が向上せずに悪くなることが知られている。（下のグラフ） ・これらはOverfittingによるものではなく、勾配が０になったり、発散したりするため。 これを解決しようというのがこの論文の趣旨 Residual Network 普通のNetwork $H(x)$が所望するmapping(求めたい変換） 2 weight layerをH(x)になるように学習する Residual Network ・$x$をshortcutして足し合わせると$H(

[jp-myk]

“最適な出力学習する”

[stealthinu]

residual connectionというひとつ前の層の入力を出力層にそのまま足し合わせて学習する方法。入力から最適な出力学習するという問題を残差を学習するという問題に置き換えることで最適化しやすくする。