ランダムフォレスト系ツールで特徴量の重要度を測る - Qiita

はじめに 複数の特徴量を含むデータセットを分析する際，ランダムフォレストに代表される決定木ベースのアンサンブル分析器では，特徴量の重要度を算出することができます．これまで，私はブラックボックスとしてこの機能を使ってきましたが，使うツールが増えてきたので，少し使い方を整理したいと思います． まず重要度算出のアルゴリズムですが，"はじめてのパターン認識"（11章）から引用させていただきます． Out-Of-Bag(OOB) 誤り率は次のように計算する．ランダムフォレストは，一つの木を作るときにブートストラップにより使用する学習データを選んでいる．その結果，約1/3のデータは学習に使われない．ある学習について，その学習データが使われなかった決定木のみを集めて部分森を構成し，その学習データをテストデータにして誤りを評価することができる． 決定木ベースのアンサンブルを行う際，上記の方法でOOB誤り率