ブースティングとバギングの違いを知ろう｜秀和システム

書籍『LightGBM予測モデル実装ハンドブック』の「第1章-2 予測モデルの概要-機械学習アルゴリズム」より、「決定木のアンサンブル学習」および「勾配ブースティングのライブラリ」を公開します。 前回ご紹介した「機械学習アルゴリズムの全体像」を先にお読みいただくことを推奨します。 決定木のアンサンブル学習アンサンブル学習の手法には、弱学習器を直列に配置して順番に学習する「ブースティング（Boosting）」と、並列に配置して独立に学習する「バギング（Bagging）」の2つの学習方法があります。 ブースティングブースティング（Boosting）は複数の弱学習器を使って順番に学習して1つの予測モデルを作成する手法です。ブースティングの中で有名なアルゴリズムは勾配ブースティング（Gradient Boosting）［2］とアダブースト（AdaBoost）［3］の2つです。勾配ブースティングは弱