Gradient Tree Boostingの理論を読み解く - Qiitaはじめに 今回は、XGBoostなどの機械学習において根幹を成している理論、Gradient Tree Boostingについて理解してみる。 XGBoostはKaggleなどのコンペで愛用されている手法だが、その理論を知らずに頼るのはなんか気持ち悪いし、サイエンスではない。また、理論を知ってこそ、それを活用することができると信じているので、一度ここでまとめて見たい。急がば回れである。 ただし、あくまでこれは私が理解している限りを記述したメモ書きであることに注意していただきたい。 なお、以下の内容は、XGBoostの論文のSection2を参考にしている。 Gradient Tree Boostingはアンサンブル学習の一つである。 そもそも機械学習の目標は、汎化能力が高い学習器をデータから構築することであるが、その汎化能力を高めるためには以下２つの方針が考えられる： 単一の学習器の精度を
