ランダムフォレストと検定を用いた特徴量選択手法 Boruta - 学習する天然ニューラルネット
特徴量選択とは Borutaとは とりあえず使ってみる ベースラインの判別 Borutaの判別 Borutaのアイデアの概要 Borutaのアルゴリズム 1. 判別に寄与しないはずの偽の特徴量を作る。 2. 偽の特徴量と一緒にランダムフォレストを訓練。 3. 各特徴量の重要度と偽の特徴量の特徴量を比較。 4. 複数回比較し検定を行うことで、本当に重要な特徴量のみを選択。 検定について 1. 棄却したい帰無仮説と受容したい対立仮説を用意する。 2. 観測値から検定統計量Tを定める。 3. 帰無仮説が正しいとしてTの分布を求める。 4. 十分小さい有意水準αを定め、帰無仮説が正しいときにとなる領域を棄却域とする。 5. 観測されたTがに入っていたら対立仮説を受容し、入っていなければ帰無仮説を受容する。 まとめ 補足 使う際のTips等 2019/01/06追記 参考 特徴量選択とは 特徴量選択
Python: Null Importance を使った特徴量選択について - CUBE SUGAR CONTAINER
今回は特徴量選択 (Feature Selection) の手法のひとつとして使われることのある Null Importance を試してみる。 Null Importance というのは、目的変数をシャッフルして意味がなくなった状態で学習させたモデルから得られる特徴量の重要度を指す。 では、それを使ってどのように特徴量選択をするかというと、シャッフルしなかったときの重要度との比率をスコアとして計算する。 もし、シャッフルしたときの重要度が元となった重要度よりも小さくなっていれば、スコアは大きくなって特徴量に意味があるとみなせる。 一方で、シャッフルしたときの重要度が元とさほど変わらなければ、スコアは小さくなってその特徴量は単なるノイズに近い存在と判断できる。 あとはスコアに一定の閾値を設けたり、上位 N 件を取り出すことで特徴量選択ができるようだ。 今回使った環境は次のとおり。 $ sw
【機械学習】SHAPを用いた木構造モデルの解釈 – 株式会社ライトコード
SHAPを用いた木構造モデルの解釈機械学習モデルの解釈性については、しばしば問題になります。 「モデルの精度が高いが、なぜモデルが、その予測を行ったのかを説明できず、実用に至れなかった…。」 といった事を、多くの方が経験しているのではないでしょうか？ 今回は、複雑なモデルの解釈を行うための手法「SHAP（SHapley Additive exPlanations）」を紹介します。 そして、実際に「木構造モデル」に適用したいと思います。 この記事で紹介すること複雑なモデルにおいて、各特徴量の寄与の解釈を行うモデル「SHAP」を解説。「SHAP」を、実際に「木構造モデル」に適用してみた結果を、特徴量重要度の指標と比較する。モデルの解釈性についてまず、機械学習モデルの解釈性について説明します。 一般的に、「モデルの複雑性」と「解釈性」は、トレードオフの関係にあります。 例えば、 「重回帰モデル」
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
