はじめに 第1回の記事で原著論文に沿ってXGBoostの基本事項を学習しました。(論文の2.2まで) 第2回は論文読みをさらに進めていきます。 特に勾配ブースティング法で用いられる学習率の概念をXGBoostにもそのまま適用します。学習率とラウンド数のトレードオフについて説明し、この二つのパラメータはチューニングすべきではないことを記述しました。 勾配ブースティング法とその進化版としてのXGBoost(2章) 正則化項$\Omega$(※) 前回 過学習防止のためのテクニック [今回] 木分割のアルゴリズム(3章) オンメモリ処理のための近似手法(※) スパースなデータへの対応 (※) NaNデータへの対応(※) スケールアウトのためのシステムデザイン(4章) 並列処理(+α?未読) 評価(6章) (※がXGBoostとしての特徴) しっかり読むと結構分量が多いですが、できるだけ読み進めて
![XGBoost論文を丁寧に解説する(2): ShrinkageとSubsampling - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b7c1e51e15d29642f9d2321c7f0c6746603c6c0f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9WEdCb29zdCVFOCVBQiU5NiVFNiU5NiU4NyVFMyU4MiU5MiVFNCVCOCU4MSVFNSVBRiVBNyVFMyU4MSVBQiVFOCVBNyVBMyVFOCVBQSVBQyVFMyU4MSU5OSVFMyU4MiU4QiUyODIlMjklM0ElMjBTaHJpbmthZ2UlRTMlODElQThTdWJzYW1wbGluZyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MTgyOTc5OTM5YTM1MjNjZWY5YTk5MWM5ZDU1ZWVmMTg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0cml3YXZlMzMmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTYzNTk2ODNmNWY3ZDU0MmQzNmQxNjMyN2JmZmIzZjEy%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D603fb817467a1bf0612fd8e9c75cc176)