ビッグデータやAI（機械学習）時代に決定的に重要なデータの前処理。「前処理大全 データ分析のためのSQL/R/Python実践テクニック」 - 密林の図書室

本橋 智光 (著) ビッグデータは様々なデータをためる仕組みであり、機械学習はデータで学習させる。統計的な手法を駆使して分析を行うデータサイエンティストも引っ張りだこだ。それらに共通することはデータである。しかし、データを高い利便性で利用しようとすると、分析の前処理は欠かせない。このため、データの前処理はデータ分析業務の8割を占めるといわれる。 本書は、この前処理に焦点を当てた本である。プログラミングレベルの内容で、SQL/R/Pythonの３つの言語が想定されてあり、実際のサンプルプログラムを例示しながら解説が行われている。サンプルコードは、すべて指定のサイトからダウンロードできる。本書で解説されている前処理は、以下のようなものである。 ・抽出：条件指定や列指定抽出、サンプリング ・集約：カウント、合計、代表値、分散値と標準偏差、最頻値、順位 ・結合：マスターテーブルの結合、全結合、過去