深層学習 - 東工大学

Canon ２０１３年５月２８日 深層学習 東京工業大学 計算工学専攻 杉山 将 sugi@cs.titech.ac.jp http://sugiyama-www.cs.titech.ac.jp/~sugi/ 講義の流れ 古典的なニューラルネットの復習 ディープネットの成功例 ディープネットの学習アルゴリズム ディスカッション 2 1. 2. 3. 4. 多層ニューラルネットワーク 中間層の素子数を増やせば，任意の関数が 近似できるようになる 3 古典的な実装 素子にシグモイド関数を使う 4 誤差逆伝播法（勾配法） JLS = n X i=1 (f (x i ) − y i ) 2 研究の流れ ニューラルネットの誤差逆伝播学習は， 初期値をうまく選ばないと良い解が見つからない． また，入力に近い層の学習が遅い． 5 この問題を回避するために，サポートベクトル