Universal Approximation Theoremと深層学習の有効さ - From Pure Math to Applied Math2016 - 11 - 03 Universal Approximation Theoremと深層学習の有効さ Deep Learning 機械学習 皆さん Universal Approximation Theorem Universal approximation theorem - Wikipedia をご存知でしょうか。 もしこれを知らないで深層学習や 人工ニューラルネットワーク (ANN)を使っている(実装している)としたら、 それは 無免許運転 のようなものでしょう。 お話になりません。 数学的厳密性を犠牲にしてRoughly Speakingで説明すると、 この定理が主張するのは ””適切な活性化関数を使えば、ANNは 任意の関数 を 任意の精度 で近似することが出来る”” と言うものです。 これによってANNの ”強さ” が保証されているわけですが、、、、。 こ
