勾配ブースティング (Gradient Boosting)の仕組み - Qiita

初めに 勾配ブースティングの仕組みをできるだけ分かりやすく説明します。 機械学習についてざっくりとした知識がある前提で書いています。 訂正箇所がありましたらご指摘くださいお願いします。 目次 導入 ブースティングについて 勾配ブースティングについて 勾配ブースティングは何に使われている? 仕組み 1 初期化をする 2 何を繰り返すのか 3 探索方向を決めよう 4 ステップサイズを決めよう 5 関数(学習器)を更新しよう 6 最終的な出力 おわりに 参考・引用文献 導入 ブースティングについて 機械学習におけるアンサンブル学習のひとつ (アンサンブル学習とは、単独では精度の高くない学習器(弱学習器)を多数作り、その組み合わせで精度の高い学習器をつくる手法群) 一般的なブースティング(例えばAdaBoost)では、予測精度の悪い分類器(弱学習器)を使い予測を行い間違えた箇所の「重み」を大きくし