整然データとは何か｜Colorless Green Ideas

整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのことであり、構造と意味が合致するという特徴を持つ。R言語などを用いたデータ分析の際には非常に有用な概念である。 はじめに データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 それでは、どのようなものがデータ分析において扱いやすい形式のデータになるのだろうか。この問題に対する唯一の正しい解答というものは存在しない。しかし、表の形式で表すことができるデータを考える場合、ハドリー・ウィッカム (Hadley Wickham) 氏が提唱した整然データ (tidy d

[mandel59]

整然データって要するに関係で第1正規形になってると解釈できる行列のことなの?/論文読んだらThis is Codd's 3rd normal formって書いてある/なんで第3?

[nakag0711]

この辺りは正規形の定義が漏らしてるところなんだよな

[barringtonia]

学部生にデータ入力させる際、いつも説明に苦慮する。よく整理されたこの記事も、R等で解析したことのない人に、人の目には不自然な「整然データ」を推奨するロジックとしては弱いように思う。

[dai1741]

説明しづらい概念なので名前がついてるのは助かる

[peketamin]

オープンデータ系に求められるやつ

[hoxo_m]

Hadley の Tidy Data の要点を簡潔にまとめていて非常に分かりやすい。

[yutatone]

データリテラシー

[nentaro]

整然データというのはなんかしっくりこない。tidy dataでいいじゃないか

[shozzy]

そういう名前がついてるのか。利用する上ではあまりに当たり前すぎて無意識だったな。

[wwolf]

エンジニアはむしろ整然データの方が分かりやすいと感じる人の方が多そう

[Guro]

正規化？

[Totty-Totty]

整然データとは何か データ分析の際には、データが扱いやすい形式になっている必要がある。データの中身がぐちゃぐちゃになっていたり、データの形式が統一されていなかったりすれば、分析は骨の折れる作業となる。 T

[yasudayasu]

整然データとは、1) 個々の変数が1つの列をなす、2) 個々の観測が1つの行をなす、3) 個々の観測の構成単位の類型が1つの表をなす、4) 個々の値が1つのセルをなす、という4つの条件を満たした表型のデータのこと

[tenari]

もっと別の呼び方なかったっけ…

[zyzy]

第一正規形の話っぽく見えるのは挙がっている例えのせいなのかな？

[richard_raw]

Rとかで処理しやすいデータのことですね。2014年の論文なのか……。

[napsucks]

ハッシュリファレンスとか使うと全く意識せずにぐちゃぐちゃになるやつだ

[shinagaki]

正規じゃなくて整然ってのがでてきたのか

[nanakoso]

あ、伝票テーブルだ

[chezou]

pivot tableはunpivotしたものがtidy dataなのかな。DataFrame扱う上で意識しておいたほうが良い概念だ

[parasporospa]

要するに3次元以上に拡張しづらいのが「整然でないデータ」だよね

[hogeai]

無意識に、このような形式変換していたけど、整然データという名前があるのですね。

[schrift]

おもろー

[Caat]

一目でわかる説明用の画像がGood

[ka-ka_xyz]

表計算ソフトも、データを扱うレイヤーと見た目を処理するレイヤーが分かれていればもうちょっと扱いやすかったろうになあ。まあMS的にはそういうの目指すならAccessかSharePoint買えって話なんだろうけど。

[Diomedeidae]

tidy dataについて。可視化を考えてつい「クロス集計」型のテーブルを作ってしまいがちだが、PC等で解析をする場合は「整然データ(=tidy data)」の方が都合がよい。今はRでtidyr等が一手にやってくれるが前は一苦労だった

[mzi]

そのままは使えないけど、概念として

[hiroomi]

今のピボットをしてるとよく遭遇する。いや、いい気づきだ。

[itochan]

「札幌、18時、曇」のほかに「札幌、18時、雹」がある時などは あてはまるのかな（自分で調べてない）　＞また、1つの値の情報が2つ以上のセルに分かれてしまっているという場合も、整然にはならない。

[y-shinozw]

データ整形はこういう風にやってほしい。の具体名を把握した。Rやる前はわかってなかった。

[ymm1x]

いい話

[Windymelt]

tidy data / 解析しやすいデータの構造。列に変数、行に観測/概念に名前が付いていることのありがたさよ

[masa_w]

割と最近(2014年)というのに驚く

[chess-news]

　ほんとこれ　変換方法をもっと知りたい

[masatomo-m]

tidy dataという名前がついてたのか。事例も分かりやすくてすごく良いまとめ

[Kuichi]

"構造と意味とが合致していると、分析は非常に容易になる"は本当にそうだよなあ…と思う。