[Kaggle Tokyo Meetup #6](https://connpass.com/event/132935/) での LT 資料です。短いのでタイトル詐欺感ありますがお許しください。 内容的には学習率って大事だよねと言うお気持ちが全て。 【追記】 p.16 の 「Adam 固定でうまく行く人々もいる」について、流石に scheduling はしてるのではないかと(現地で)コメントを頂きました。"固定"はあくまで optimizer の話であって、scheduling なしの Adam はそこまで有能ではないとのこと。 これは僕の経験とも一致しています。
![Markdownもはじめよう](https://cdn-ak-scissors.b.st-hatena.com/image/square/11a3c7cf70ac83e743969d8c460eac976fdf8c3a/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fsphinx-markdown-141026002032-conversion-gate02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)