Optimizerはどれが優れているか（ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNINGの紹介）

テクノロジーカテゴリーの変更を依頼記事元:

akichan-f.medium.com

10users がブックマークコメント

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

リンクを埋め込む

以下のコードをコピーしてサイトに埋め込むことができます

<iframe marginwidth="0" marginheight="0" src="https://b.hatena.ne.jp/entry.parts?url=https%3A%2F%2Fakichan-f.medium.com%2Foptimizer%25E3%2581%25AF%25E3%2581%25A9%25E3%2582%258C%25E3%2581%258C%25E5%2584%25AA%25E3%2582%258C%25E3%2581%25A6%25E3%2581%2584%25E3%2582%258B%25E3%2581%258B-on-empirical-comparisons-of-optimizers-for-deep-learning%25E3%2581%25AE%25E7%25B4%25B9%25E4%25BB%258B-f843179e8a8d" scrolling="no" frameborder="0" height="230" width="500"><div class="hatena-bookmark-detail-info"><a href="https://akichan-f.medium.com/optimizer%E3%81%AF%E3%81%A9%E3%82%8C%E3%81%8C%E5%84%AA%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%81%8B-on-empirical-comparisons-of-optimizers-for-deep-learning%E3%81%AE%E7%B4%B9%E4%BB%8B-f843179e8a8d">Optimizerはどれが優れているか（ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNINGの紹介）</a><a href="https://b.hatena.ne.jp/entry/s/akichan-f.medium.com/optimizer%E3%81%AF%E3%81%A9%E3%82%8C%E3%81%8C%E5%84%AA%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E3%81%8B-on-empirical-comparisons-of-optimizers-for-deep-learning%E3%81%AE%E7%B4%B9%E4%BB%8B-f843179e8a8d">はてなブックマーク - Optimizerはどれが優れているか（ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNINGの紹介）</a></div></iframe>

プレビュー

規約違反を報告

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

Optimizerはどれが優れているか（ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNINGの紹介）

この記事の概要この記事は2019/10/11にDami Choi等がArxivに投稿した”ON EMPIRICAL COMPARISONS OF OPTI... この記事の概要この記事は2019/10/11にDami Choi等がArxivに投稿した”ON EMPIRICAL COMPARISONS OF OPTIMIZERS FOR DEEP LEARNING ”という論文の紹介/解説記事です。この論文の要旨をまとめると下記のようになります。 SGD, Momentum,RMSProp, Adam,NAdam等の中から、どの最適化手法(Optimizer)が優れているかを画像分類と言語モデルにおいて比較した研究各Optimizerは以下の包含関係にあり、より汎用的なAdam, NAdam, RMSPropは、各Optimizerの特殊な場合であるSGDやMomentumに負けない実際に実験すると(メタパラメータをチューニングすれば)NAdam, Adam等が良かった。よって計算資源があれば、実務上はNAdam, Adam等で全メタパラメータをチュ