第5回 機械学習のための特徴量エンジニアリング - 特徴選択 - Qiita

はじめに 本記事では交互作用特徴量について解説しています。本記事は主に「機械学習のための特徴量エンジニアリング」を参考とさせて頂いておりますので、気になる方は是非チェックしてみてください。 特徴選択とは モデルの予測に有効ではない特徴量を削除する手法です。有効でない特徴量はモデルの学習時間を増大させ、精度も下げてしまいます。 フィルタ法 フィルタ法はモデルに関係なく、データセットのみを見て特徴量を削減する方法です。それぞれの特徴量がどれだけ予測に使えるかを指標をもとにして数値化し、実際に使う特徴量を選びます。この指標にはピアソンの相関係数, カイ二乗検定, ANOVAなどがあります。 具体的には、特徴量同士の相関が高すぎる特徴量を削除したり、目的変数との相関が低すぎる特徴量を削除したりします。しかしモデルを全く考慮しない手法なので、モデルによって有効になる可能性のあった特徴量を削除してしま