人工知能を実現する学習アルゴリズムに必要な能力 - 人工知能に関する断創録

今年は、Deep Learningを研究する予定（2014/1/4）だったのだけれど、多層パーセプトロンまで到達した（2014/2/5）ところで少々（？）足踏みしている。Deep Learningの構成要素であるボルツマンマシンを理解するのに手間取っているためだ。ボルツマンマシンの理解には、マルコフ確率場やMCMCの理解が必要なことがわかったので少し廻り道してモンテカルロ法を先に勉強（2014/6/20）していたというわけ。 ただ、そればかりでは少々退屈になってきたので少し先回りして Deep Learning の先駆者のBengioさんが書いた論文 Learning Deep Architectures for AI を勉強している。示唆に富む見解が多いのであとで振り返られるように記録しておきたい。 まずは、1.1節のDesiderate for Learning AIの部分。人工知能を

[lanius]

Shape Boltzmann Machine.

[hirsato]

複雑で非常に多様な関数を学習する能力。たとえば、訓練データの数より多様性の数がずっと大きい関数を学習する能力。

[laughing]

ShapeBM は読んでないけど Salakhutdinov の Multimodal Learning が近いのかなと思った > ラベルから画像を生成