xgboostで勾配ブースティング木モデリングをしよう - Qiita

勾配ブースティング木とは？ データ分析コンペでよく使われるアルゴリズムの一つ。 GBDTと略される。 G・・・ Gradient(勾配) = 勾配降下法 B・・・ Boosting(ブースティング) = アンサンブル手法の1つ D・・・ Decision(決定) T・・・ Tree(木) つまり、「勾配降下法(Gradient)」と「Boosting(アンサンブル)」、「決定木(Decision Tree)」を組み合わせた手法。 勾配降下法 重みを少しずつ更新して誤差の勾配が最小となる点を探索するアルゴリズム。 「誤差が小さくなる=予測が正確になる」と考える。 ブースティング 複数のモデルを組み合わせてモデルを作成するアンサンブル手法の一つ。 同じ種類のモデルを直列的に組み合わせ、予測値を補正しながらモデルを学習させる。 弱学習器（予測の精度があまり高くないもの）を複数組み合わせることで強