[B! R] pepe_la_phewのブックマーク

Rによるtwitterテキストマイニング〜テキストに対する学習とは〜 - あんちべ！

あんちべのすべらない話〜俺のツイートがこんなにウケないはずがない〜 View more presentations from AntiBayesian 自分のtweetがウケるか滑るかをpostする前にrandomForestで判別してみよう！ LTは制限時間10分だったため、詳細は意図的に省きました。本記事では皆さんにも実践頂けるよう、学習データの作り方についてスライドより詳しく説明したいと思います。 ●そもそも「学習する」とは？今回の目的は、自分のツイートがfav(面白い), non(普通)のどちらになるか分類することです。そのためには「favになるツイートはどのような特徴を持っているか？」を明らかにしなければなりません。特徴が明らかになっていれば、・このツイートはfavの特徴を強く持っている→favに分類・このツイートはfavの特徴を殆ど持っていない→nonに分類という

pepe_la_phew 2014/03/12

リンク

統計的消去で擬似相関を見抜こう！ - ほくそ笑む

今日は初心者向け記事です。はじめにある範囲の年齢の小学生32人を無作為に選び、算数のテストを受けてもらい、さらにその身長を測定しました。身長に対する算数の点数のグラフは次のようになりました。なんと、身長の高い子供の方が、算数の点数が高いという結果になりました！身長が算数の能力に関係しているなんて、すごい発見です！しかしながら、結論から言うと、この結果は間違っています。なぜなら、抽出したのは「ある範囲の年齢の小学生」であり、年齢の高い子も低い子も含まれているからです。年齢が高いほど算数能力は高くなり、年齢が高いほど身長も高くなることは容易に推測できます。この関係を図で表すと次のようになります。つまり、年齢と算数能力に相関があり、年齢と身長にも相関があるため、身長と算数能力にも見かけ上の相関が見えているのです。このような相関を擬似相関と言います。統計解析では、このような