最近、決定木ベースの手法ではxgboost が主流となってきています。実際、xgboost やrandomForest は手軽に結構良い精度が出るので、まずはじめに試すとしたらこのあたりの手法かなと思います。 Regurarized Greedy Forest (以下、RGF と略す)は、C++ で書かれていることとトレーニングに時間がかかるため、あまり普及はしていないように感じます。ただ精度に関してはxgboost より良いことも多い印象があります。 Regularized greedy forest (RGF) in C++ こちらからダウンロードすることができます。RGF の使い方やアルゴリズムについては付属のpdf に詳しく書かれています。アルゴリズムについては時間があるときに追記しようと思います。 コンペでの使用状況 metric とloss の目安 使用上の注意点 パラメータ