AdaGradを使っていると最初に勾配をゼロに初期化して爆発することがあったので，+1するなど（根拠がない）工夫をして悩んでいたが，Adamになってちゃんとbias校正項が出てきてスッキリした．等比数列さえ分かれば導出でき

fromTw

elu_18 のブックマーク 2015/03/08 11:43

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/243858883/comment/elu_18" data-user-id="elu_18" data-entry-url="https://b.hatena.ne.jp/entry/s/ifttt.com/missing_link?1425782604" data-original-href="https://ifttt.com/missing_link?1425782604" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fifttt.com%2Fmissing_link%3F1425782604" data-user-icon="/users/elu_18/profile.png">Missing Link - IFTTT</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/fromTw">fromTw</a>]</li></ul><br><p style="clear: left"> AdaGradを使っていると最初に勾配をゼロに初期化して爆発することがあったので，+1するなど（根拠がない）工夫をして悩んでいたが，Adamになってちゃんとbias校正項が出てきてスッキリした．等比数列さえ分かれば導出でき</p><a class="datetime" href="https://b.hatena.ne.jp/elu_18/20150308#bookmark-243858883"><span class="datetime-body">2015/03/08 11:43</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Missing Link - IFTTT

ifttt.com2015/03/08

1 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Missing Link - IFTTT

はてなブックマーク

公式Twitter

はてなのサービス