tree系のアルゴリズム(決定木・ランダムフォレスト・xgboostなど)で目的変数に対数を取ってはいけない - ともにゃん的データ分析ブログ

よくよく考えたら当たり前のことに気づいたのでメモです。 回帰とかをするときに、例えば目的変数が正の値しか取り得ないような場合、目的変数を対数変換したりします。 そのノリで、タイトルに挙げたのtree系のアルゴリズムを適用するときにも対数変換をしてる人がいるんじゃないでしょうか。僕もその一人です。 ただ、どうも予測値が実測値を過小評価している感がすごかったのです。そこで原因を考えてみました。 tree系のアルゴリズムは、(テスト)データが最終ノードにたどり着いたときに、そのノードにある学習データの平均値を予測値として返します。 ある最終ノードにあるデータ数を個, データをとしましょう。もし目的変数に対数変換をしていた場合、返される結果は です。これを元のスケールに戻すと、つまりをかましてやると です。おっと、これは幾何平均じゃないですか。 御存知の通り、算術平均 ≧ 幾何平均 ですから、元の