はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

1. はじめに 主に3点をまとめてみます。Stackingとはなんぞや、Stackingが何故嬉しいのかなどはStacking - 計算編① -を参照してください。 1点目はStackingやBlendingをテンプレート化しましたという話です。また、中間出力を可視化出来る様にしました。ただし、フレームワーク自体は https://github.com/AlexInTown/Santander を参照させて頂きました。2点目は、1-LevelにGBDT+線形分類器の組み合わせを新たなに追加し、特に線形分類器の損失関数を変えた場合の性能寄与を調べました。フレームワークを真似るだけだと芸がないので・・・。GBDT+線形分類器については http://goo.gl/1UmhsI を参照下さい。実装はsklearnを使いました。3点目はテンプレートを使って計算しましたという話です。実際の計算で使っ

1. はじめに データコンペ界隈主導で、数%の精度を高める手法としてstacking・blendingが非常に流行っております(言わずもがなですが)。実務家として着目したいのは、数%の改善をする方法論だと思います。数%でチャリチャリ度合は全然違いますので、技術により利益貢献をするという目線で大変頼もしい手法です。StackingがKaggle主導で誕生した理由も、以下を覗くとうなずけます； [http://goo.gl/T0OlsV より引用] 1位と2位の差が2bp(∝10^-4)とは全く驚きです。そこで本エントリーでは、Stackingの概要を整理した後、sklearnを使って実験を行い、Stackingにより得られる示唆を考察してみたいと思います。 2. Stackingとは 実のところ、何が正しいのか不明瞭なのですが、[4]を参照し解釈すると視点としては以下が挙げられると考えていま

1. scikit-learnを使った実験概要 Gradient Boostingについて - 準備編 - （ http://goo.gl/y2EVLI ） の予告通り今回はSklearnで実験をしてみました。目的は、GBDTを使ったfeature transformationが予測を改善するのか、という点を確認する事です。 ところで、Gradient Boostingでfeature transformationする話は昔からあったはずですが、ADKDD'14で発表されたPractical Lessons from Predicting Clicks on Ads at Facebook[1]が非常に有名です。実験はこの論文がやっている事と同じですが、featureの安定性等は計算していません。実務で適用する場合は重要な点ですので、ぜひトライしてみて下さい（結果を教えて頂けるととてもうれ

1. はじめに Gradient Boostingについて - 準備編 -( http://goo.gl/C4oGok )で予告した通り、Boostingで使われる正則化テクニックについてまとめてみようと思います。その前に、第2章で正則化とは何か簡単に記述して起き、第3章においてBoostingで正則化といわれる方法についてまとめます。2・3章を踏まえると、Boostingにおける正則化は学習率の数列をスケジューリングしており、本来的な正則化ではない事が分かります（Boostingで正則化の数値実験をしている文献[3]を参考に振舞いを確認してください）。次に、第4章では昨今猛威を振るっているXgboostにおける正則化導入法を記し、Xgboostが正則化の理論でいう正則化を行っている事を示してみたいと思います。 2. 正則化とは 非常に知られている手法がL1・L2・Elastic Netの

基本、個人的に勉強した内容を書き留めていくつもりです。間違っている箇所があれば指摘して頂けると、とてもうれしいです。 1. Boostingとは何ぞや Boostingとは弱学習器をたくさん集めて強学習器を作ろうという話が出発点で、PAC Learningと呼ばれています（PAC Learning:強学習器が存在するとき弱学習器は必ず存在するが、弱学習器のアンサンブルが存在する場合、強学習器と同性能の学習器を作れるかという話です）。他方、J.H.Friedma先生[1]が損失関数を最小化する枠組みでも議論できるんでない？という（おそらく）疑問から、なんと機械学習の枠組みでBoostingを説明してしまいました。損失関数を最小化する問題として再定義し、損失を最小化する方向を探すのに勾配情報を使っているので、Gradient Boostingと呼ばれています。 で、この方法が昨今のデータコンペ