話題になった日経のトンデモグラフに対する突っ込みで、相関係数には言及してもp値、有意水準についての言及は少なく、勘違いしている人が多いのではないか?と感じたのでブラッシュアップも兼ねてまとめました。
![相関係数の大小は相関の有無とは全く関係ない件について。](https://cdn-ak-scissors.b.st-hatena.com/image/square/83818bcf11912c8756fc2d89ef21a81e12503688/height=288;version=1;width=512/https%3A%2F%2Fs.togetter.com%2Fogp2%2F86a120e1640e9eca77cc1df2be5738cd-1200x630.png)
相関係数とは? 相関係数については、8月のエントリーを参照してもらうと良いかと思います。 「相関係数」ってなんですか? -意味と利点と欠点をわかりやすく- - Data Science by R and Python 簡単に説明しておくと、相関というのは「2つの変数の間に存在する、直線的関係」を指しています。相関係数というのは、その直線度合いを0~1の数字で表したものと言えます。ただし、値には大小関係しかありません(相関係数0.8は、相関係数0.4のときよりも2倍相関が強いという意味ではないので注意してください)。 さて、データの分析・解析に関わらず、いくつかの変数があるデータでは、相関係数を計算して、変数の間に関係があるかをチェックするのが一般的です。前のエントリーにもあるようにこれは「直線的な関係」しか調べられないですし、色々と制約もあり、いちいち確認するのは面倒ですが、それでも使い勝
裏 RjpWiki の 2 個の時系列データの相関を考えるときは... と 2 個の時系列データの相関を考えるときは...(その2) がたいへんおもしろかったので試してみた。 まず p 値は本来は帰無仮説のもとに一様分布になるべきである。例: p = replicate(100000, { x = rnorm(100) y = rnorm(100) cor.test(x, y)$p.value }) hist(p, freq=FALSE, breaks=20, col="gray", main="") しかし「時系列」ではそうならないことがある。例として,まったく独立に生成されたはずの二つのランダムウォークする系列の相関係数を求めると,こんな具合になる: p = replicate(100000, { x = cumsum(rnorm(100)) y = cumsum(rnorm(100)
Julia ときどき R, Python によるコンピュータプログラム,コンピュータ・サイエンス,統計学 元データがない(?)ようなので,グラフから読み取って分析してみる。 > d = read.table("takahashi.dat", header=TRUE) # データは末尾に掲載 > plot(x ~ t, type="o", col="blue", pch=16, ylim=c(-1.5, 2), ylab="x", xlab="t") > points(y ~ t, type="o", col="red", pch=16, yaxt="n", ylab="y") > axis(4, at=seq(-1.5, 2, length=11), labels=seq(90, 140, by=5)) > mtext("y", 4, 1.8) > (r_xy = cor(x, y)) #
Julia ときどき R, Python によるコンピュータプログラム,コンピュータ・サイエンス,統計学 http://abrahamcow.hatenablog.com/entry/2014/09/11/024924 「時系列データの相関係数はあてにならない……のか? 教えて下さい」なんだけど... 私のコメントが気に触ることが多いようなのですが(特に悪意はないつもりなんですけど,すみませんね) 私は,経済学とか時系列についてはよく知らないのですが,「これは「見せかけの相関(擬似相関;spurious correlation)」の例だ」ということならば,偏相関係数を考えればよいのではないでしょうかね??社会学などでは当たり前のように使われていると思うのですが。 > set.seed(1) > x = cumsum(rnorm(100)) > set.seed(2) > y = cumsu
本記事の趣旨 見せ掛けの回帰と見せ掛けの相関(擬似相関)は違います。 時系列(というか、ランダムウォークする系列 ランダムウォーク - Wikipedia )の場合、相関係数は比較的高い値になりやすく、また有意な相関が出やすいので注意。 あと高橋洋一の議論を擁護する話題が混じっていますが、これについては、金融緩和はブタ積み上等。金融緩和賛成。消費税増税反対。 - 廿TT を参照してください。 「時系列 相関」 「時系列 相関」でググったところ以下のような記事がヒットした. 時系列データの相関係数はあてにならない: ニュースの社会科学的な裏側 現時点では Google 検索で上から 6 番目 R - 時系列データ分析の初心者に必ず知ってもらいたい重要ポイント:回帰分析 ・相関関係分析を行う前に必ずやるべきこと(データの形のチェックと変形) - Qiita 現時点では Google 検索で上か
元官僚の高橋洋一氏が時系列データの相関係数が高い事を論拠にしているが、この論証方法は全くもって厳密ではない。 計量経済学では時系列データの相関係数はあてにならない事は80年代から良く知られており、これに関連した業績でエングルとグレンジャーは、2003年にノーベル経済学賞を受賞している。 高橋氏のトリックを説明したい。世の中には時間とともに変化していくトレンド*1と言うのが多くある。このトレンドがあるデータを二つ比較すると、どちらも時間に対して相関しているため、相関があるように見えてしまう。 例えば戦後、一人あたりの米の消費量は減少し、コンピューターの普及台数は飛躍的に伸びたが、この二つの現象を結びつけて考える人はいない。しかし、米の消費量とコンピューターの普及台数は、高い相関を持つ事になる。 実データの場合は屁理屈をつける事も可能かも知れないので、シミュレーションして確かめてみよう。
「相関」って何. 統計学を学んだことがあれば、誰もが一度は聞いたことがある「相関」という言葉。最近では、高校でも扱われる概念になったようですが、「相関」っていったい何でしょうか?教科書(という名のWikipedia)にはこういう風に書かれています。 相関係数(そうかんけいすう、英: correlation coefficient)とは、2 つの確率変数の間の相関(類似性の度合い)を示す統計学的指標である。原則、単位は無く、−1 から 1 の間の実数値をとり、1 に近いときは2 つの確率変数には正の相関があるといい、−1 に近ければ負の相関があるという。0 に近いときはもとの確率変数の相関は弱い。因みに 1 もしくは −1 となる場合は 2 つの確率変数は線形従属の関係にある。 ここでは、相関ではなく、相関係数という言葉を用いていますね。「相関」というのは、2つ以上のもとがあるときに、それら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く