Gradient Boostingについて - 準備編 - - Qiita

基本、個人的に勉強した内容を書き留めていくつもりです。間違っている箇所があれば指摘して頂けると、とてもうれしいです。 1. Boostingとは何ぞや Boostingとは弱学習器をたくさん集めて強学習器を作ろうという話が出発点で、PAC Learningと呼ばれています（PAC Learning:強学習器が存在するとき弱学習器は必ず存在するが、弱学習器のアンサンブルが存在する場合、強学習器と同性能の学習器を作れるかという話です）。他方、J.H.Friedma先生[1]が損失関数を最小化する枠組みでも議論できるんでない？という（おそらく）疑問から、なんと機械学習の枠組みでBoostingを説明してしまいました。損失関数を最小化する問題として再定義し、損失を最小化する方向を探すのに勾配情報を使っているので、Gradient Boostingと呼ばれています。 で、この方法が昨今のデータコンペ

[somemo]

“Adaboost -> Gradient Boosting -> Stochastic Gradient Boosting -> Stochastic Parallel Gradient Boosting。最初はPAC Learningの枠組みで理解され、現代では機械学習の枠組みで定式化されている流れ。”

[isrc]

Boostingとは弱学習器をたくさん集めて強学習器を作ろうという話

[todesking]

なんかしらんけど経験的にうまくいってしまう機械学習アルゴリズムがあるというの、怖いのか勇気が持てるのかよくわからん話であるな

[mooz]

Boosting を損失関数の最小化として再定義

[kazuph1986]

いまはAdaboostよりも良いやつが出てたか。