Gradient Boosting や XGBoostについて調べたことをまとめました. Gradient Descent や Newton法と絡めて説明していきたいと思います. 目次 Boosting Gradient Descent (Steepest Descent) Gradient Boosting Regression Tree Gradient Tree Boosting Learning rate Newton Boosting XGBoost Generalization Error Conclusion Reference Boosting Boostingとは,ランダムより少し良い程度の”弱い”学習アルゴリズムを使って, そのアルゴリズムよりも”強い”学習アルゴリズムをつくることです. イメージとしては,弱い学習アルゴリズムを”boost”してあげる感じでしょうか.
![Gradient Boosting と XGBoost](https://cdn-ak-scissors.b.st-hatena.com/image/square/3e3f32e9bb14b40c74ed6ba5755dca2e5e577c8a/height=288;version=1;width=512/https%3A%2F%2Fzaburo-ch.github.io%2Fimages%2Fgradient_boosting_pseudo_code.png)