Rによるデータクリーニング実践――政府統計からのグラフ作成を例として｜Colorless Green Ideas

データクリーニングが繁雑な作業であることを示すために、政府の統計データから日本の男のみの高校と女のみの高校の数の推移をグラフ化する事例を紹介する。クリーニングの作業にはR言語を用い、複数のファイルを統合し、整然データに変え、グラフを作成する。 はじめに データクリーニングは、データ分析の際に非常に重要なプロセスの1つであるが、データ分析の教科書では必ずしも十分に扱われていない。そこで、現実のデータクリーニングがどのように行われるかについて、一事例を紹介したいと思う。具体的には、統計処理に適したプログラミング言語のRを用いて、粗悪なデータから簡単な折れ線グラフが作成できる程度のきれいなデータにするまでのデータクリーニングを実施していく。 本記事の対象読者 本記事は、既存のデータに対して自らの手でデータ分析を実施している人、または実施しようと考えている人を主な対象にしている。データ分析の際にど

[teasquare]

日々の悪夢の明晰な記述

[okumuraa1]

フォーマットの差異を吸収しつつループ処理をする

[stadio]

データクリーニングは非常に面倒な作業。だけど、それはその後の解析に多大な影響を及ぼす。今まではExcelでおもに行ってましたが、Rでも十分可能そうですね。クリーンの手順も可視化されますしよさそうです。

[tsintermax]

“また”

[ahmok]

データクリーニングから必要とか初めて知った

[keijak]

こういう教育的な前処理チュートリアル、もっと充実すると良いなと思う。

[sakidatsumono]

くそexcel/ゴミとクズとカスと足して3で割るか

[Ez-style]

大昔はセル結合とかガンガン使ってたりしたので、その頃よりはマシ、なのかなあ。。。／紙の統計表の再現を目標にするのは止めた方がいいよねえ。

[nabeen919]

[あとで読む:]

[ye3awldd]

Rによるデータクリーニング実践――政府統計からのグラフ作成を例として

[justicewoods]

“データクリーニングの負荷が少ないデータを提供する”

[Rion778]

“ゴミとクズとカスを足して3で割ったようなデータは世の中にあふれているのである。”

[shogo_okamoto]

「データをマシンリーダブルで寄越せ俺のために」