1. 残差接続 (residual connection)とは [概要] 残差接続 (residual connection)とは,CNNの1種である ResNet [He et al., 2016a], [He et al., 2016b] の構成部品である残差ブロックにおいて,毎ブロックに配置される「スキップ接続 + そのあとの2経路の出力の足し算」の部品のことである. 要は 「残差接続 ≒ スキップ接続」ではあるが,スキップ接続のうち,ResNetの場合の残差ブロックを形成する形を,特に残差接続と呼ぶ.ResNetで,提案された「残差ブロックの多層化」の文脈では,スキップ接続を「残差接続」と別途呼び分けたほうが「残差ブロックを反復して構成しているネットワーク構造である」ことが伝わりやすくなる. 関連記事:ResNetの,従来のCNNと最も異なる点は? 【Q and A記事】 この記事