ニューラルネットの挙動を理解する：全結合層と活性化関数による変換 - Qiita

前回の記事でChirstopher Colah氏の記事「ニューラルネット、多様体、トポロジー」の中のいくつかの動画を再現しました。 シンプルな2値分離問題を学習する中で、ニューラルネットが入力データをどのように変換しながら、線形分離可能な状態へ持っていくかが直観的にわかるかと思います。 今回は、より詳細に「ニューラルネットの各層で何が起こっているのか」を見ていきたいと思います。 ニューラルネット各層の挙動 ニューラルネットの各層において、大きく二つの変換が実施されています。 全結合層でのアフィン変換 活性化関数による変換 式で表すと下記になります。 $$ \mathbb{h_2} = f(\mathbb{W} \mathbb{h_1} + \mathbb{b}) $$ $h_1$を一つ前の層の出力、$h_2$を次の層の出力とすると、まず全結合層において重みパラメータ行列$\mathbb{W