深層学習の数理

東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois

[stealthinu]

ディープラーニングの数理的な特性について色々な視点からまとめられてる。すごい。悔しいけどぜんぜんついてけない。30pにニューラルネットの万能性の件で船橋先生の論文も名前出てきてた。

[napsucks]

さっぱりわからないと言ってる子はG検定でも受けてみるといいよ。これのざっくり7割は理解できるようになる。個人的にはカーネル法は感嘆した。高次元にマップすれば低次元など余裕で線形分離できちゃうぜという強さ

[Nyoho]

NNの関数近似能力についていろんなクラスの関数空間での歴史表、汎化誤差の評価、詳しい。

[miau]

G検定は入門にいいとは思うけど、受かってからこの資料を読んでも「（数式を無視しつつ）知ってる単語が時々出てくる」ってレベルのような。E資格のシラバス外の内容もかなり含まれてる気がする。

[zou3dazou]

対数尤度最大化はKLダイバージェンス最小化の近似(真の分布の期待値を、サンプル平均としたもの)に等しい

[sannii]

これはほんま参考になる

[SigProcRandWalk]

うーん、まだ（自分の）頭が整理できてないな。

[plank]

知りたいことが35ページ位から書いてあった。110ページから更に面白くなる。

[shoh8]

g検とともに読んでおくやつ

[karaage]

メモ、後で

[zgmf-x20a]

量子力学の応用は知らなんだ。arxivが引用文献になっているというのも面白いね。速報性とオープンアクセスは有効だ。真偽は自分で確かめればいい。

[koka831]

ネオコグニトロン知らなかった

[igni3]

よくわからなかった。中間層へうつすのはカーネル関数で深層学習はカーネル関数ごと最適化してて、カーネル関数は再生核ヒルベルト空間で議論できるようなことが書いてあったかもしれないがよかわからなかった。

[t_f_m]

あとで

[sugarball]

後で読まない

[buenaarbol]

出た！

[knok]

知人にカーネル法というかヒルベルト空間がわからない、といったらフーリエ変換を上げてくれて「ああ、無限になんかやればあらゆる表現ができる」というところが腑に落ちた