中間ニューロン数a1, a2個の3層のReLUニューラルネットワークで任意のa1*a2個のデータが誤差0で表現できてしまう話とその実装 - Qiita

はじめに この記事は論文"Expressive Number of Two or More Hidden Layer ReLU Neural Networks"の実装記事です。 概略 活性化関数がReLU関数であり、入力がn次元、出力が1次元の中間層2層のニューラルネットワークを考える。中間ニューロン数が入力側から順にa1個、a2個であったとき、任意のa1a2個の入出力データに対し、それらのデータを誤差0で表現するようなニューラルネットワークのパラメータが存在する。ここでいう「入出力データを誤差0で表現する」とは、ニューラルネットワークに各入力データを与えると、それぞれ対応した出力データと等しい値を返すことを表している。 まとめると、**機械学習における訓練データがa1a2個以下のとき、学習の収束先が必ず存在する**ということです。(ただし収束先の存在性が言えるだけで、実際に学習が収束する