全結合のNNで層を深く（ディープに）することの意味 - Qiita畳み込みではない、層間が全結合の順伝播型ニューラルネットワークにおいて、層を深く（ディープに）することには、どんな意味があるのでしょう。 何周遅れの話なんだという感じですが、自分でネットワークを実装してみて腹落ちしたような気がするので、投稿します。 ニューラルネットワークの動機 そもそも、コンピュータプログラムは、入力xを受け取り、出力yを返す関数fとして理解できます。なお、数学的な意味での関数と異なるのは、入出力等の副作用（side effect）を伴うところです。 プログラマは、小さな関数を重ね合わせたり（関数型言語）、手続きを並べたり（手続き型言語）、オブジェクト同士でメッセージのやり取りをしたり（オブジェクト指向言語）して、関数fを実装します。 ところが、何らかの理由で、関数fを直接書き下せないことがあります。一例を挙げれば、囲碁の局面を評価する評価関数。囲碁は、自然言語では「この
