勾配ブースティング落穂拾い - 木の構築について - お勉強メモ
このシリーズについて XGBoost芸人を自称してちょこちょこ活動をしてきたのですが、最近になって自分の理解の甘さを痛感するようになりました。 気になった箇所を散発的に復習しているのですが、その成果を備忘録として残しておこうと思います。 今のところ体系的にまとめるつもりはないので、これを読んでも勾配ブースティングの全体像はつかめませんので悪しからず。 今回のテーマ以外にはマルチクラス分類の際の挙動等に関心を持っています。 木の構築について 勾配ブースティングでは 回目のイテレーションで誤差 の勾配を上手く表現した木を構築します。 この部分の処理についてscikit-learnとXGBoostでの違いを確認します。 scikit-learn カステラ本に準拠した処理になっています。 勾配の計算は となり、これを各サンプルのラベル扱いにして DecisionTreeRegressor に投げま
XGBoostにDart boosterを追加しました - お勉強メモ
はじめに XGBoostにBoosterを追加しました。 以下のようなIssueを見つけ、興味があったので実装してみたものです。 github.com 今のところ、Dart boosterの仕様について私以外の誰も把握していないはずなので、皆さんに使って頂きたく解説記事を書きます。*1 モチベーション 論文の Boosted Treesでは誤差を潰すために回帰木を大量に作ります。 木の数が多くなったときに残っている誤差は小さいですが、以降に構築される回帰木はその些末な誤差にフィッティングされることになります。 これは効率悪いように思われ、イテレーションの終盤においても一定の影響力を持った回帰木を作りたいということで、NN系でよく用いられる（ものとは趣きが異なるように私には思える）DropoutをBoosted Treesに転用しています。 自分の XGBoostにはいつもお世話になっている
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
