Stacked Generalizationで分類器のスコアをひねり出す - Qiita

概要 データ解析くらぶ第一回に向けて準備してたら抽選で落ちてしまったので用意してた内容を記事にしてみました。 Kaggleの上位者たち[1]は一つの分類器の予測のみを使用することはほとんどなく、複数の（場合によっては数百個の）分類器の結果を組み合わせるensemble learningを用いるそうです。 この記事では分類器を組み合わせる手法の一つであるStacked Generalization[3]を実装して、その効果を試してみます。 ensemble いろいろ winner takes all これは機械学習を少しかじったことがある人なら誰でもやったことがあるかと思います。 例えばある分類問題に対して、SVM、decision tree、 kNNそれぞれの精度をcross validationによって確認して、 最も精度が高いモデルを採用するという方法です。 複数の分類器の結果を平均す