Group Lassoでグループごと重みが0に潰れる理由 - Preferred Networks Research & Development
海野です。 先日会社の論文読み会で、ICML2014のMaking the Most of Bag of Words: Sentence Regularization with Alternating Direction Method of Multipliersという論文を紹介しました。さて、この時話題になったのが正則化項をグループ化すると何でグループごと重みが0に潰れるのかという話でした。式を見ても直感的にはわからなかったのですが、得居さんがとてもわかり易い説明をしてくれました。この話、日本語で検索してもあまり出てこないのでちょっと紹介します。 まず、Lassoというのは、正則化項にL1normを使ったいわゆるL1正則化のことで、大部分の重みが0に潰れて疎な解が得られます。 \(\Omega_{\mathrm{lasso}}(\mathbf{w}) = \|\mathbf{w}\|_1
ぱらぱらめくるselective inference論文 - ryamadaの遺伝学・遺伝統計学メモ
Selective inferenceは「データを眺めることで、説明変数を絞りこみ(selectionし)、そのうえで絞り込んだ変数について推定(inference)することにするが、そのときselectionがinferenceに影響するので、どうするのがよいのかを考えよう」と言ってよいでしょう。 大規模データ解析・高次元データマイニングなどで用いられるアプローチです 少し調べ物をしたのですが、論文や総説は「Xの解析にAという解析手法が使われるが、それはselective inferenceなやり方だ。ではAとはどういう手法かというと…」という書き方になっています 「XにA」「YにB」「ZにC」となっているだけだと、「共通項としてのselective inference」がよくわからない ので、まずは「XにA」「YにB」「ZにC」となっている複数の解説をぱらぱらとめくってみることにする
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
