決定木回帰、ランダムフォレスト回帰、SVRを可視化してみた - 静かなる名辞

はじめに 最近回帰モデルで遊んでいるのですが、決定木系の回帰に好印象が持てなくなりました。 だって、決定木ってオーバーフィット番長ですよ？ 回帰とは名ばかりのカクカクの回帰曲線が出てくることは目に見えています。 「そんなあなたのためにランダムフォレスト」という、アンサンブル番長な手法もありますが、以前分類で検討した感じだと、木の本数を相当増やしてもSVMなどで得られるなめらかな分離境界とは違う結果になる・・・という結論を得ているので、あまり信頼できません。 www.haya-programming.com ぶっちゃけた話、決定木はデータの可視化くらいにしか使えないし、ランダムフォレストは高次元・スパース・高ノイズ・非線形みたいな条件の悪いときには健闘するものの、低次元で普通のタスクを解くにはちょっと・・・な面がある、という認識、というか印象です。 じゃあ、実際はどうなんでしょう？ というこ