リッジ/Ridge回帰、Lasso回帰、Elastic Net (R - glmnet) - 東京に棲む日々
リッジ/Ridge回帰、Lasso回帰、Elastic Net に関して。 まず、モデルの複雑性とオーバーフィッティングに関して復習メモ。 複雑なモデル： バイアス(Bias)が小さく、バリアンス(Variance)が大きい シンプルなモデル： バイアスが大きく、バリアンスが小さい バイアスと言うのは、モデルによる予測値の平均が真の値からどれくらい乖離しているかの指標。小さいほうが良い。 バリアンスと言うのは、モデルの予測値自体のばらつき。予測の安定性みたいなもの。小さいほうが良い。 バイアスとバリアンスはトレードオフ関係にあり、モデル作成の際には複雑なモデルとシンプルなモデルの間の、ほどよく複雑なモデル（結果的に予測精度が高くなるモデル）を選ぶ必要がある。 各統計モデルによって、どのようにこの複雑性を調整するかが異なる。 例えば、重回帰であれば、説明変数を全部入れるだとか、たくさん入れる
タイトルの通り，よく考えたら今までL1/L2正則化を知識としては知ってるけど，実際に試したことはなかったことに気がついたので試してみましたよという話．L1/L2正則化にの理屈については，TJOさんのエントリとか，unnounnoさんのエントリとかをみてもらえれば良いのではと思います．それより詳しいことが知りたければ，PRMLでも読めば良いのではないでしょうか（適当*1）． まずはデータを眺める 使用したデータは，caretパッケージのcarsパッケージです*2．中古車販売のデータっぽくて，価格と，走行距離とか気筒とかドア数とかの車に関するカラムが並んでます．データを読み込んで，可視化して，とりあえず lm() してみます． > library(glmnet) > library(caret) > library(psych) > > # load data > data(cars) > t
『みんなのR -データ分析と統計解析の新しい教科書-』を読了しました。 第19章 正則化と縮小 に関する私的メモを残しておきます。 ロジスティック回帰のモデル選択法の中で, Rでは Stepwise選択法 stats::step や Elastic Net {glmnet} など様々あります。今回はこの2つを試します。共通して使う DataSet は本書にも登場する American Community Survey (ACS)です。 ACSの FamilyIncodeが $15,000以上の record を True, それ以外を False とした目的変数 Income を作り, これを予測する回帰モデルをつくります。変数の数は14個で, 加えて特徴量を増やすため交互作用項も含めることにします。 正則化法の必要性 Lasso Elastic Net glmnet 正則化パラメータの選
5. glmnetとは • 愛の鞭(正則化)を一般化線形モデル (GLM)に適用できるパッケージ • 愛の鞭(正則化)の種類 –Lasso (ラッソ, L1正則化) –Ridge(リッジ , L2正則化) –Elastic-net(L1+L2正則化) • カバーされているGLMなモデル –線形、（多項 or 多クラス）ロジス ティック、ポアソン、コックスモデル 5 7. パラメータ計算 • パラメーター推定のアルゴリズム –Coordinate Descent • 詳細 –Friedman, J., Hastie, T. and Tibshirani, R. (2008) Regularization Paths for Generalized Linear Models via Coordinate Descent, Journal of Statistical Software, Vo
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
glmnetで正則化を試してみる - About connecting the dots.
【glmnet】R で Elastic Net を実践 – FiS Project
5分でわかるかもしれないglmnet
Rでスパースモデリング：glmnetの便利な補助ツール - Qiita