コンピュータ将棋における勾配降下法の最適化アルゴリズム - 水たまり
自分用メモ 勾配降下法を用いてパラメータを更新していくときに、どういった更新式を使えばいいのか気になってきたのでいくつかのソフトについて調べてみた。 ここではニューラルネットワークは除いて、3駒関係や2駒関係の特徴量を使っているソフトに絞って調べた。ボナンザメソッドと自己対局からの学習とでは事情が違う可能性もあるが、とりあえずは気にしないことにした。 まず更新式の基本についてはここにあることで学んだ。このページの「どのオプティマイザを使うべき？」のところでは、スパースなデータに対しては学習率を適応させていく手法が良いとあって、つまりはAdaGradとかその派生形のことだと思う。3駒関係等の学習はスパースなので、それらの中から選んでいくことになるんだろう。 やねうら王 2017年11月16日時点では // ---------------------- // 更新式 // ----------
いま、酸性雨はどうなっているの？
今年も各地で梅雨入りし、これから雨の日が多くなりそうです。「樹木が枯れる」「雨が目にしみる」など、1970年代から被害報告が相次いだ酸性雨。ところが、2000年以降は酸性雨が話題にのぼることが少なくなりました。酸性雨はいま、どうなっているのでしょうか。 1970年代になると、日本でも酸性雨による被害報告が相次ぎました。 「雨に打たれた野菜の葉が変色した」「雨が目にしみる」「山の木が枯れている」などなど。建築物の被害は、銅ぶきの屋根が腐食した、コンクリートが溶けてつらら状に垂れ下がる、鉄筋の腐食が進んでいるといった報告が上がりました。 酸性雨は最大の地球環境問題となったのです。 京都大学・地球環境学堂 特定研究員の村野健太郎さん(72歳)が酸性雨の研究を始めたのは、国立公害研究所(現・国立環境研究所)にいた1984年。手がけたのは赤城山(群馬県)の酸性霧(さんせいぎり)でした。 立ち込めてい
勾配降下法一覧 (2020) - Qiita
対象者 深層学習の最適化手法である確率的勾配降下法をまとめてみました。 といっても、こちらにまとめられている数式と論文を基に、初期値や論文に載っていなかった定数の決定などをPytorch、Keras、Chainerなどの実装を参考に行ったものをまとめただけです。 数式などは実装ライクにまとめますので、自分で実装してみたい人は見ていってください。 間違いなどがあれば気軽にご指摘ください。 また、新しい最適化手法の情報をお持ちの方や、作成中の最適化手法についても是非教えてください！ こちらで探索平面ごとの挙動の違いを紹介しています。 こちらにて実装コードを公開しています。ご自由にご活用ください。 目次 はじめに 最急降下法とは 確率的勾配降下法とは 実装ベース SGD Momentum SGD NAG AdaGrad RMSprop AdaDelta Adam RMSpropGraves SM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
