Gradient Boosting Decision Treeでの特徴選択 in R | 分析のおはなし。

Gradient Boosting Decision Tree(GBDT)を勉強したので、その概要とRでのパッケージの簡単な使い方を乗っけておきます。 1. そもそもGBDTってなんだよっていう話。 単純に言えば、複数の決定木を作成して、集団で学習させる方法の事です。 １本決定木を作り、上手くモデルで説明が出来なかったobservationに対して重みを付け、重みのついた状態で次の木を作り、また重みを付けて・・・ というステップを指定した本数分だけ繰り返します。 誤差に対して学習しなおしてくれるので、決定木よりもっと良いモデルが出来上がります。 理論の詳細はこちらの本を参考にしていただければと。 英語版は著者サイトで無料公開されています。英語大丈夫な人はこちらを参照するとよいかと。 http://statweb.stanford.edu/~tibs/ElemStatLearn/ あとこのイ

[somemo]

“ここでキーとなることは、これらの新しいカテゴリ変数は、GBDTに投入した変数の交互作用を加味した情報を持っているという事です。 ” https://github.com/dmlc/xgboost/ R-package/demo/predict_leaf_indices.R, python-package/xgboost/sklearn.py apply

[elu_18]

勉強したので書く。特徴選択なんだか特徴抽出なんだか・・・ 「Gradient Boosting Decision Treeでの特徴選択 in R」 http://t.co/KR3i9dfKKB