XGBoost論文を丁寧に解説する(2): ShrinkageとSubsampling - Qiita

はじめに 第1回の記事で原著論文に沿ってXGBoostの基本事項を学習しました。（論文の2.2まで） 第2回は論文読みをさらに進めていきます。 特に勾配ブースティング法で用いられる学習率の概念をXGBoostにもそのまま適用します。学習率とラウンド数のトレードオフについて説明し、この二つのパラメータはチューニングすべきではないことを記述しました。 勾配ブースティング法とその進化版としてのXGBoost（2章） 正則化項$\Omega$(※) 前回 過学習防止のためのテクニック [今回] 木分割のアルゴリズム（3章） オンメモリ処理のための近似手法(※) スパースなデータへの対応 (※) NaNデータへの対応(※) スケールアウトのためのシステムデザイン（4章） 並列処理（＋α？未読） 評価（6章） （※がXGBoostとしての特徴） しっかり読むと結構分量が多いですが、できるだけ読み進めて