勾配ブースティング落穂拾い - 木の構築について - お勉強メモ
このシリーズについて XGBoost芸人を自称してちょこちょこ活動をしてきたのですが、最近になって自分の理解の甘さを痛感するようになりました。 気になった箇所を散発的に復習しているのですが、その成果を備忘録として残しておこうと思います。 今のところ体系的にまとめるつもりはないので、これを読んでも勾配ブースティングの全体像はつかめませんので悪しからず。 今回のテーマ以外にはマルチクラス分類の際の挙動等に関心を持っています。 木の構築について 勾配ブースティングでは 回目のイテレーションで誤差 の勾配を上手く表現した木を構築します。 この部分の処理についてscikit-learnとXGBoostでの違いを確認します。 scikit-learn カステラ本に準拠した処理になっています。 勾配の計算は となり、これを各サンプルのラベル扱いにして DecisionTreeRegressor に投げま
FastBDTでの高速化 - Negative/Positive Thinking
はじめに 勾配ブースティング木の高速化はどうすればいいだろうと調べていたら、arxivで流れているのを見かけたのでメモ。 FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification https://arxiv.org/abs/1609.06119 https://github.com/thomaskeck/FastBDT Stochastic Gradient Boosted Decision Tree(SGBDT) 勾配ブースティングの各イテレーションで、学習データから非復元抽出でサンプリングしたデータを用いる https://statweb.stanford.edu/~j
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
