[PDF] 最適化から見たディープラーニングの考え方 得居 誠也

c � 1. 5 2011 10 [1] ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 2 10 [2, 3] 1 [4] [5] 2. x ∈ X y ∈ Y z = (x, y), Z = X × Y Preferred Networks 113–0033 2–40–1 4 tokui@preferred.jp S = {zi}N i=1 ⊂ Z f : X → Y F = {fθ|θ ∈ Θ} fθ ∈ F F zi S f z = (x, y) �(f, z) f(x) y ES(f) = ( � z∈S �(f, z))/N ES(f) f z = (x, y) E(f) = Ez[�(f, z)] E(f) E(f) f f [6] f� F f� F F ˆ fF E(f) E(f� ) E(f

[yasudayasu]

「深層学習の要点は，多層のニューラルネットにより階層的な表現が学習される点にあるが，その理論的な背景はいまだ謎に包まれている」

[elu_18]

ReLUは，値域が有界でない欠点はあるものの，正の値を取るユニットについて勾配が減衰せずに伝播するため，最適化において有利である．｜最適化から見たディープラーニングの考え方(得居誠也) https://t.co/Kvj03BoPT1

[hiroshi_revolution]

untitled