最先端のスパースモデリング～HMLassoとPliable Lasso～
新しい「LASSO」たち（2） 状況によって回帰係数を変えられる「Pliable Lasso」 もう一つ、新しいLassoのアルゴリズムを紹介しましょう。 Lassoを代表とするような回帰分析においては、 \( \hat{y} = \sum_{j = 1}^p X_j \hat{\beta}_j \) というように、各説明変数\(X_j\)に対する回帰係数\(\hat{\beta}_j\)を推定していました。 一方、現実の問題では、この回帰係数を状況によって変えたいという要望が存在します。例えば以下のような場合です。 「ある薬は、男性にはよく効くが、女性にはあまり効かない」 数学的に言い換えれば、この薬を表す説明変数を\(X_j\)とすると、\(X_j\)に対する回帰係数\(\hat{\beta}_j\)を、男性に投与するときは大きく、女性に投与するときは小さく推定したいということになりま
スパースモデルではshrinkage factorの分布を考慮しよう ～馬蹄事前分布（horseshoe prior）の紹介～ - StatModeling Memorandum
ベイズ統計の枠組みにおいて、回帰係数の事前分布に二重指数分布（ラプラス分布）を設定し回帰を実行してMAP推定値を求めると、lassoに対応した結果になります。また、回帰係数にt分布を設定する手法もあります。これらの手法は「shrinkage factorの分布」という観点から見ると見通しがよいです。さらに、その観点から見ると、馬蹄事前分布が魅力的な性質を持っていることが分かります。この記事ではそれらを簡単に説明します。 なお、lassoそのものに関しては触れません。岩波DS5がlassoを中心にスパースモデリングを多角的に捉えた良い書籍になっているので、ぜひそちらを参照してください。 岩波データサイエンス Vol.5 発売日: 2017/02/16メディア: 単行本（ソフトカバー） 参考文献 [1] C. Carvalho et al. (2008). The Horseshoe Esti
Statistical Learning with Sparsity: the Lasso and Generalizations
Trevor Hastie is the John A. Overdeck Professor of Statistics at Stanford University. Prior to joining Stanford University, Professor Hastie worked at AT&T Bell Laboratories, where he helped develop the statistical modeling environment popular in the R computing system. Professor Hastie is known for his research in applied statistics, particularly in the fields of data mining, bioinformatics, and
グラフィカル Lasso を用いた異常検知
多変数の間の直接相関をスパース推定する手法であるグラフィカル Lasso と、その異常検知への応用についてまとめました。
Rでスパースモデリング：Elastic Net回帰についてまとめてみる - データサイエンティスト(仮)
導入 回帰モデル構築の際、汎化性能を向上させるために正則化の手法がたびたび用いられます。これは、考えているデータ数に対して特徴量の数が非常に多い場合や、特徴量間に強い相関（多重共線性）がある場合に有効な方法となっています。このような場合に、通常の回帰モデル構築の際に用いられる2乗誤差などの目的関数に加え、ノルム（は正整数）のような正則化項（もしくは罰則項）加えて最適化をおこなうことで先程の問題を解消することができます。こういった正則化項を加えた上でモデルの最適化をおこなう（ = パラメータを推定する）方法を、正則化法といいます。 代表的な正則化法に、Lasso, Ridge, Elastic Net回帰があります。これらは、解釈性も含めた特徴があり、必ずしも高精度のものだからよいわけではない、というのが私の考えです。しかし一方で、{caret}を使ってこの中で最も精度がよいものを採用しまし
Rでスパースモデリング：Adaptive Lasso - データサイエンティスト(仮)
導入 スパース推定の代表的な手法として、Lassoがあります。様々なシーンで活用されているLassoですが、Lassoは変数選択の一致性が保証されないという欠点があります。Adaptive Lassoは、その欠点を補う形で提唱されている手法となっています。こちらは、ある条件のもとで変数選択の一致性が保証*1されており、数理統計学的により好ましい性質を持っています。 このAdaptive Lassoですが、Rでは{glmnet}以外のパッケージを使わないと簡単にできないとかなりの期間勘違いをしてました。そんな中、以下の記事を最近見かけまして、冷静に考えたら{glmnet}でも表現できるよなあと猛省した次第です。 RPubs - Adaptive LASSO Examples 以上の経緯から、挙動を確かめておこうという考えのもと、メモがてらAdaptive Lassoの紹介をしようと思います。
最近のスパースなニューラルネットワークについて - SmartNews Engineering Blog
こんにちは、スマートニュースの徳永です。深層学習業界はGANだとか深層強化学習だとかで盛り上がっていますが、今日は淡々と、スパースなニューラルネットワークの話をします。 要約すると ニューラルネットのスパース化によって、精度はほとんど犠牲にせずに、計算効率は3〜5倍程度まで向上できる スパース化にはまだ課題が多く、ニューラルネットの高速化という意味では、次の戦場はたぶんここになる スパースとは、スパース化とは スパースであるとは、値のほとんどが0であることです。例えば、ベクトル$a,b$の内積を計算する際に、$a$のほとんどの要素の値が0であるとしましょう。0になにをかけても0ですから、$a$の値が0でない次元についてのみ、$a_i b_i$の値を計算して足し合わせればよいわけです。このように、内積を計算する際に、どちらかのベクトルがスパースであれば計算が高速化できます。0という値をメモリ
【特集】スパースモデリングと多変量データ解析 - 岩波データサイエンス
スパースモデリングを体験してみるPythonやRのコードはこちらのページにあります スパースモデリングに関するリンク集スパース推定についての教科書（ダウンロード可） Statistical Learning with Sparsity: The Lasso and Generalizations 圧縮センシング（compressed sensing, 本特集では少ししか触れていないので補完です） ポータルサイト Emmanuel Candes Preprints in sparse recovery / compressed sensing 圧縮センシングの数理（田中利幸） PDF 「応用数理」のスパース特集 目次（論文はダウンロード可） 新学術研究「スパースモデリングの深化と高次元データ駆動科学の創成」 ウェブサイト 天文屋のための How to スパースモデリング（植村誠） （植村
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2018/ML_Gairon/ML_Gairon_02_mod.pdf
機械学習技術とその数理基盤
Oracle property and_hdm_pkg_rigorouslasso