データをなるはやで前処理したい＃１ - QiitaMLSE（機械学習工学研究会） Advent Calendar 2018 の1日目の投稿です こんにちは！BULBのデータサイエンティスト 足立です。 一般的に「分析作業の7〜８割はデータの前処理である」と言われます。前処理では具体的に、データセットの列（変数）選択や行（レコード）選択、欠損値の補間や外れ値の除去などの作業を行います。 なぜこのような作業が必要なのでしょうか？ それは、課題解決につながる結果を得るために、例えば精度の高いモデルを作成するためです。精度の高いモデルを作成するために、どのようにデータを前処理して特徴量を作り出すかが腕の見せどころですね 特徴量とは何か ご存知の方も多いと思うので、サラッとした説明にとどめておきます。特徴量とは、他のデータとは異なる「そのデータ自身が持つ特徴」です。例えば、画像の被写体が犬か猫かによって、画像のピクセル値は異なります。また、メールが
