![](https://cdn-ak-scissors.b.st-hatena.com/image/square/bca3c009f7436afd2c79adc46178d4bf8282e823/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUU1JThCJUJFJUU5JTg1JThEJUU2JUIzJTk1JUUzJTgxJUFFJUUzJTgzJThGJUUzJTgyJUE0JUUzJTgzJTkxJUUzJTgzJUE5JUUzJTgyJTkyJUU1JThCJUJFJUU5JTg1JThEJUU2JUIzJTk1JUUzJTgxJUFCJUUzJTgyJTg4JUUzJTgxJUEzJUUzJTgxJUE2JUU2JTlDJTgwJUU5JTgxJUE5JUU1JThDJTk2JUUzJTgxJTk5JUUzJTgyJThCJTIyR3JhZGllbnQlMjBEZXNjZW50JTNBJTIwVGhlJTIwVWx0aW1hdGUlMjBPcHRpbWl6ZXIlMjIlRTMlODElQUUlRTglQUIlOTYlRTYlOTYlODclRTMlODIlOTIlRTMlODIlQjklRTMlODMlOTclRTMlODMlQUMlRTMlODMlODMlRTIlODAlQTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTAxYjNlM2Y4ZGY2MWJjM2FkZmQ5OWIzMzFjNmVjMmQ0%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwTXlhLU15YSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTMyJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODE2ZWM0OGFlMjMwM2YyMWYwNjg2NTliYmY4NmY2YTE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D17308d7eb16cb05520c469cd9ef729c3)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
勾配法のハイパラを勾配法によって最適化する"Gradient Descent: The Ultimate Optimizer"の論文をスプレッドシートで実装してみる - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
勾配法のハイパラを勾配法によって最適化する"Gradient Descent: The Ultimate Optimizer"の論文をスプレッドシートで実装してみる - Qiita
勾配法のハイパラを勾配法によって最適化する"Gradient Descent: The Ultimate Optimizer"の論文をスプ... 勾配法のハイパラを勾配法によって最適化する"Gradient Descent: The Ultimate Optimizer"の論文をスプレッドシートで実装してみる機械学習最適化TensorFlow 概要 この論文では、勾配法のハイパーパラメータを勾配法によって最適化するというアイデアが提案されています。 まず、論文を要約した上でスプレッドシートでの実装を示します。 この論文の要約 勾配法は、最適化問題を解く上でよく用いられる手法です。例えば、AIの訓練や非線形ソルバーの中でも勾配法が広く採用されています。この勾配法ですが、動かすのに何個かのハイパーパラメータが必要になります。例えば、最急降下法と呼ばれる勾配法では学習率$\alpha$が、Adamと呼ばれる勾配法では学習率$\alpha$、1次モーメント推定値の指数減衰率$\beta_1$、2次モーメント推定値の指数減衰率$\beta_2