特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット
なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士
Random Forestを用いた欠測 データの補完とその応用
Random Forestを用いた欠測 デ タの補完とその応用 データの補完とその応用 2010年11月16日 大学入試センター 研究開発部 石岡 恒憲 研究開発部 石岡 恒憲 1 欠測デ タの取り扱い 欠測データの取り扱い � 欠測データの補完(impute)；欠測値を埋める � 欠測データの補完(impute)；欠測値を埋める � 欠測の確率をモデル化(Rubin,1976) � Missing completely at random, MCAR; 欠測するかどうかはモデリングに用いている変 数に依存しない � Missing at random, MAR;欠測するかどう g , ;欠測する う かは欠測値に依存せずに観測値に依存する � Not missing at random NMAR;欠測値は � Not missing at random, NMAR;欠測値は 観測していな
森を彷徨う - Qiita
本記事R Advent Calendar 201619日目の記事になります。 まえがき 皆様は今でも現役でrandomforest使っていますか？ xgboost, lightGBM, mxnetなど、新星が次々に登場しており、一時期に比べるとその存在感は薄くなってしまったかなと言う印象もあります。 とは言え、パラメータチューニングが比較的容易、結果が解釈しやすいなどの利点から、現在においても十分に一線級だと考えています。 最近のrandomforest実行パッケージ 最近のRを通じたrandomforest package色々については、 RでランダムフォレストやるならRboristかrangerか "ranger: A Fast Implementation of Random Forests"のメモ書き 最近のRのランダムフォレストパッケージ -ranger/Rborist- 新型の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
合成変量とアンサンブル：回帰森と加法モデルの要点
forestFloorパッケージを使ったrandomForestの感度分析
