スパースモデルではshrinkage factorの分布を考慮しよう ～馬蹄事前分布（horseshoe prior）の紹介～ - StatModeling Memorandum
ベイズ統計の枠組みにおいて、回帰係数の事前分布に二重指数分布（ラプラス分布）を設定し回帰を実行してMAP推定値を求めると、lassoに対応した結果になります。また、回帰係数にt分布を設定する手法もあります。これらの手法は「shrinkage factorの分布」という観点から見ると見通しがよいです。さらに、その観点から見ると、馬蹄事前分布が魅力的な性質を持っていることが分かります。この記事ではそれらを簡単に説明します。 なお、lassoそのものに関しては触れません。岩波DS5がlassoを中心にスパースモデリングを多角的に捉えた良い書籍になっているので、ぜひそちらを参照してください。 岩波データサイエンス Vol.5 発売日: 2017/02/16メディア: 単行本（ソフトカバー） 参考文献 [1] C. Carvalho et al. (2008). The Horseshoe Esti
Graphical lassoで変数関係の構造グラフを抽出する - Qiita
はじめに 川野秀一先生・他著「スパース推定法による統計モデリング」共立出版の第5章のGraphical lassoの内容をまとめました。 Graphical lassoとは 複数の確率変数間の統計的な独立性に着目し、ガウシアングラフィカルモデル$N(\mu,\Omega)$のネットワーク構造を推定することを考えます。 この時に、変数間の関係をスパースモデリングの考えを用いて推定する手法がGraphical lassoです。 ガウシアングラフィカルモデルについて 多変量正規分布における$\Omega$は共分散逆行列であり、第$(i,j)$成分を$\omega_{ij}$とする この時、着目する変数$X_j$を目的変数に、それ以外の変数$X_{-j}$を説明変数とした回帰モデルが成り立ちます。 ここで、 $\beta_{ij}=-\omega_{jk}/\omega_{jj}$、$\epsil
Statistical Learning with Sparsity: the Lasso and Generalizations
Trevor Hastie is the John A. Overdeck Professor of Statistics at Stanford University. Prior to joining Stanford University, Professor Hastie worked at AT&T Bell Laboratories, where he helped develop the statistical modeling environment popular in the R computing system. Professor Hastie is known for his research in applied statistics, particularly in the fields of data mining, bioinformatics, and
研究成果の解説
これまで前原が行ってきた研究成果 (発表論文) の一部を簡単に紹介します．時系列順 (新しいほど上) になっています． Subspace Selection via DR-Submodular Maximization on Lattices So Nakashima and Takanori Maehara (2019): "Subspace Selection via DR-Submodular Maximization on Lattices", in Proceedings of the 33rd AAAI Conference on Artificial Intelligence (AAAI'19), Honolulu, Hawaii, United States, January 27--February 01, 2019. Group Decision Diagram (GD
グラフィカル Lasso を用いた異常検知
多変数の間の直接相関をスパース推定する手法であるグラフィカル Lasso と、その異常検知への応用についてまとめました。
Rでスパースモデリング：Adaptive Lasso - データサイエンティスト(仮)
導入 スパース推定の代表的な手法として、Lassoがあります。様々なシーンで活用されているLassoですが、Lassoは変数選択の一致性が保証されないという欠点があります。Adaptive Lassoは、その欠点を補う形で提唱されている手法となっています。こちらは、ある条件のもとで変数選択の一致性が保証*1されており、数理統計学的により好ましい性質を持っています。 このAdaptive Lassoですが、Rでは{glmnet}以外のパッケージを使わないと簡単にできないとかなりの期間勘違いをしてました。そんな中、以下の記事を最近見かけまして、冷静に考えたら{glmnet}でも表現できるよなあと猛省した次第です。 RPubs - Adaptive LASSO Examples 以上の経緯から、挙動を確かめておこうという考えのもと、メモがてらAdaptive Lassoの紹介をしようと思います。
“rigorous” lassoを試してみた - 琥珀色呑んだくれ備忘録
High-Dimensional Metrics in R CRAN - Package hdm やりたかったこと＝ oracle property保証のlassoで変数選択(n＜p) 得たもの＝ 速い、一致性はそれっぽい。 やりたいこと＝ ほかのパッケージとの比較、証明部分読む。 以下、試したかった部分だけ： # install.packages("hdm") require(hdm) set.seed(1) ### modified from example(rlasso) ---------------- n <- 100 # sample size p <- 1500 # number of variables s <- 3 # nubmer of non-zero variables beta = c(rep(3,s), rep(0,p-s)) # s -> non-zero/z
【PyStan】Graphical LassoをStanでやってみる。 - Qiita
こんにちは、久しぶりにブログを書く@kenmatsu4です。 Stan Advent Calendarの23日目の記事を書きました。 今回のブログでは、Graphical Lassoという、L1正則化をかけた精度行列(分散共分散行列の逆行列)を推定する手法をStanを用いてやってみようというものです。コードの全文はGitHubにアップロードしています。 1. テスト用データの生成 まず、多変量正規分布に従う乱数を生成します。 今回は下記のような平均、分散をもつ６次元のデータを300個生成します。 そして無理やり$x_6$と$x_4$、さらに$x_6$と$x_5$に相関を持たせ、$x_4$と$x_5$が間接相関を持つようにします。これはもともと$x_4$と$x_5$がなかったものの、$x_6$の影響を受けて$x_6$の変動と連動して$x_4$と$x_5$の値も動くので本来相関がない変数同士が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Oracle property and_hdm_pkg_rigorouslasso