VAEを学習するとき、潜在表現zが無視され事前分布と事後分布を一致させる方向に学習が行われてしまうことがある(KL collapse)。これを解消するために、正規分布の代わりにVon Mises–Fisher分布(球面上の分布)を導入。KL距離か

fromTw

elu_18 のブックマーク 2018/09/11 18:42

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/370820916/comment/elu_18" data-user-id="elu_18" data-entry-url="https://b.hatena.ne.jp/entry/s/twitter.com/sleepinyourhat/status/1038376826878521344" data-original-href="https://twitter.com/sleepinyourhat/status/1038376826878521344" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Ftwitter.com%2Fsleepinyourhat%2Fstatus%2F1038376826878521344" data-user-icon="/users/elu_18/profile.png">Prof. Sam Bowman on Twitter: "Neat paper on VAE language model training with spherical latent spaces from @gregd_nlp's group:… https://t.co/7uZeD7zjic"</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/fromTw">fromTw</a>]</li></ul><br><p style="clear: left"> VAEを学習するとき、潜在表現zが無視され事前分布と事後分布を一致させる方向に学習が行われてしまうことがある(KL collapse)。これを解消するために、正規分布の代わりにVon Mises–Fisher分布(球面上の分布)を導入。KL距離か</p><a class="datetime" href="https://b.hatena.ne.jp/elu_18/20180911#bookmark-370820916"><span class="datetime-body">2018/09/11 18:42</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

Prof. Sam Bowman on Twitter: "Neat paper on VAE language model training with spherical latent spaces from @gregd_nlp's group:… https://t.co/7uZeD7zjic"

twitter.com/sleepinyourhat2018/09/11

1 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

Prof. Sam Bowman on Twitter: "Neat paper on VAE language model training with spherical latent spaces from @gregd_nlp's group:… https://t.co/7uZeD7zjic"

はてなブックマーク

公式Twitter

はてなのサービス