Deep Learning : Bengio先生のおすすめレシピ - a lonely miner

先日，身内の勉強会(&ラボの勉強会)で，Deep Learningについてお話してきました．これまで興味がなさそうだったのに何故急に？というのはおいておいて． 紹介したのは，Deep Learningの第一人者のひとり， Yoshua Bengio先生自身が執筆された，以下の論文． Yoshua Bengio, Practical recommendations for gradient-based training of deep architectures, arXiv:1206.5533v2, 2012 どうやら書籍の草稿のようで，Bengio先生の長年の研究で得られたさまざまなノウハウ(最近の手法まで)がぎっしり詰め込まれています．すごい． 以前から気にはなりつつも，ちょっと分量が多い(30ページくらいある)ので，なかなか手を出すことができなかったのですが，ようやくヤル気が出てきた

[sucrose]

ニューラル・ネットワークのハイパーパラメータの選び方とかの話

[hiroti3]

これ見る！！

[stealthinu]

deep learningで必要になるテクニックについて2012にbengio先生がまとめた内容の翻訳紹介なんだけど今読むとすごく昔のことのようになってる。この界隈の流速がすんごく速いのを改めて感じることが出来る。

[masatoi]

ハイパーパラメータはランダムサンプリングしたほうがいいとか活性化関数はマックスアウトがいいとかテストデータで誤差が減らなくなってきたらアーリーストッピングをかけるだとかノウハウがたくさん

[chezou]

“ハイパーパラメータはグリッドサーチするのではなく，ランダムサンプリングしたほうが性能が出る場合が多い”

[alalada]

あとでよむ

[kumagi]

グリッドサーチとは何だったのか…

[mooz]

パラメタ探索でグリッドサーチするよりランダムサンプリングしたほうが性能出る