【Day-8】絶望的なデータを前処理で何とかする。(pandas/sklearn) - プロクラシスト

データ分析ガチ勉強アドベントカレンダー 8日目。 Day-7の記事で、データを取り扱えるようになりました。 しかし、データがいつもきれいで美しいものだとは限りません。なかには絶望的なデータもたくさんあります。 機械学習等の学習器に投げ入れるには、もうひと工夫いることのほうが多いです。 pandasとsklearnで、できる工夫、前処理についてまとめて行きます 前処理とは 絶望的なデータの入手 データを統一的な型(数値等)に変換(df.apply) NaNの除去 df.dropna() df.fillna() df.interpolate() その他 スケーリング StandardScaler MinMaxScaler その他 まとめ 前処理とは 学習の流れを簡単な図にまとめてみる。 データ分析の労力の7~8割は、↑図の赤の部分、前処理といわれている。 適当に学習器に投げ入れたデータよりも、

[imslotter]

書きました！前処理の話！

[karaage]

良い内容！ただ、実務ではcsvが入手できればまだ良い方で、謎エクセルからcsvへの変換から始まったりする