Rによるデータクリーニング実践――政府統計からのグラフ作成を例として｜Colorless Green Ideas
データクリーニングが繁雑な作業であることを示すために、政府の統計データから日本の男のみの高校と女のみの高校の数の推移をグラフ化する事例を紹介する。クリーニングの作業にはR言語を用い、複数のファイルを統合し、整然データに変え、グラフを作成する。 はじめに データクリーニングは、データ分析の際に非常に重要なプロセスの1つであるが、データ分析の教科書では必ずしも十分に扱われていない。そこで、現実のデータクリーニングがどのように行われるかについて、一事例を紹介したいと思う。具体的には、統計処理に適したプログラミング言語のRを用いて、粗悪なデータから簡単な折れ線グラフが作成できる程度のきれいなデータにするまでのデータクリーニングを実施していく。 本記事の対象読者 本記事は、既存のデータに対して自らの手でデータ分析を実施している人、または実施しようと考えている人を主な対象にしている。データ分析の際にど
いろいろな確率分布のパラメータをいじくるアプリ @ksmzn #Shiny
いろいろな確率分布のカタチを見ることができるWebアプリです。 パラメータをいじくって、確率分布のカタチがどのように変わるのか観察しましょう。 上部メニュー からお好きな確率分布を選んでください。 このアプリはR言語のWebアプリフレームワークであるShiny で、@ksmznが作りました。 ご指摘や、追加すべき確率分布などがありましたらTwitterで教えてくださると助かります。 また、全てのコードはGitHubにもおいてありますので、拙いコードでよろしければ参考にしてください。 時間があれば、グラフをggplot2ではなく、D3.jsなどを使ったインタラクティブなものにしたいですね。 参考文献 このアプリを使う際に参考にしたページは以下です。 特に、まだまだShinyの日本語情報が少ないなか、 @hoxo_mさんの記事やコードはとても参考になりました。 @hoxo_mさん、ありがとうご
帰無仮説のもとでp値の分布が一様分布になることの証明 - kivantium活動日記
帰無仮説のもとでp値の分布が一様分布になるらしいのですが、納得できるちゃんとした証明が検索しても出てこなかったので書いておきます。 p値とは何かとか、帰無仮説とは何かみたいな解説は省略します。 証明 を観測値の帰無仮説の分布、をの累積分布関数 をp値の分布、をの累積分布関数とする。 は連続分布で、が逆関数を持つものと仮定する。 （注: 分布の累積分布関数はを満たすような関数） 観測値が帰無仮説に従うとき、が上の一様分布であることを示す。 上の一様分布の累積分布関数は上でという値を取ることと、p値は上の値しか取らないことから、であることを示せばが上の一様分布に従うことが分かる。 観測値がのときのp値をとするとp値の定義より が成り立つ。 （が連続分布と仮定しているので） また、が単調増加することから、 が成り立つ。 以上より、 したがって、であることが分かったのでp値が上の一様分布であること
統計: 変動係数で値のバラつきを比べる - CUBE SUGAR CONTAINER
まず初めに、次のようなヒストグラムがあったとする。 このヒストグラムには、青色と緑色のふたつのグループが含まれている。 それぞれのグループは、平均値や度数が異なるようだ。 果たして、それぞれのグループはどちらの方が値のバラつきが大きいのだろうか？ 標準偏差だけでは比較できない 通常、データセットの値のバラつきは分散や標準偏差、四分位数といった統計量で表される。 しかし、これらの統計量は、平均値や単位などが異なると単純に比較することはできない。 例えば、あるカブトムシの大きさの標準偏差が 1 cm で、あるクジラの大きさの標準偏差が 1 m だとしよう。 クジラの方が標準偏差にして 100 倍の大きさがある。 しかし、だからといってクジラの方がバラつきも大きいとは限らない。 元々、その生物がだいたいどれくらいの大きさなのかが分からなければ判断がつかない。 先ほどの例であれば、カブトムシがだい
Pythonで統計学を学ぶメリットは？勉強の手順も解説
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
私のための統計処理ー基本解説
実験はギャンブルのようなもので、 どんな結果が出るかはわからないが、 実験計画を立てる。 「2群に差がない!」という帰無仮説を立てる。 群間のサンプルの選択は公平にしなければならないが、 勝率が高くなるような実験計画をデザインも必要である。 生物実験では、物理科学実験とは異なり、 得られるデータは必然的にばらつきを伴う。 測定者による誤差 ---実験技術の向上に伴い、 データの信頼度は上がる！ 測定装置、あるいは測定方法による誤差 測定されるものの性質による個体差
「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ
以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p
京都女子大生、ビッグデータ解析で世界一 専門知識なし：朝日新聞デジタル
京都女子大（京都市東山区）の３年生４人が、ビッグデータから傾向や規則性を見つける「データマイニング」の国際コンペで優勝した。正答率は参加５３チームで最高。専門知識は一切なく、世界一に輝いた。 ４人は現代社会学部の中原英里さん（２２）、松浦由希さん（２１）、松本美紗子さん（２１）、武藤陽穂（あきほ）さん（２１）。指導した小波秀雄教授（統計学）は「情報理工系でない学生の優勝は努力のたまもの。受賞を自信につなげてほしい」。 コンペはアジア太平洋地域で知識工学を発展させようと、情報工学系の国際会議「ＩＣＯＮＩＰ」が毎年開催。今年は７～９月に実施され、周辺各国の参加学生たちが競い合った。 出題は「暗号化された新聞記事… この記事は有料会員記事です。有料会員になると続きをお読みいただけます。 この記事は有料会員記事です。有料会員になると続きをお読みいただけます。 この記事は有料会員記事です。有料会員に
真のデータ・サイエンティスト養成めざす滋賀大学データサイエンス学部の教育内容とは？
1954年生まれ。78年早稲田大学政治経済学部卒業後、ダイヤモンド社入社。「週刊ダイヤモンド」編集長などを経て現職。著書に『複雑系の選択』『めちゃくちゃわかるよ！経済学』（ダイヤモンド社）『浦安図書館を支える人びと』（日本図書館協会）など。 これならわかるよ！経済思想史 ３つの主要思想「新古典派経済学」「ケインズ経済学」「マルクス経済学」が一気につかめる！ 経済思想史というのは、経済現象や経済行為の背景にある考え方の変遷です。 経済学の理論も、経済思想史を知ることで胸にストンと落ちるし、 世界の政治や経済が動くメカニズムへの理解もグッと深まるのです。 バックナンバー一覧 統計学といえば日本では長らく、経済学部や工学部の一部（学科ですらない！）という位置づけにありました。しかし遂に日本で初めて、独立した“統計学部”が登場します。その名も「データサイエンス学部」。前回の滋賀大学長の佐和隆光先生
「調査観察データの統計科学」読書会資料を公開しました（数式周りをフォロー） - 木曜不足
因果推論、特に傾向スコアについて日本語で学ぼうとしたら、第一に名前が挙がるのは「調査観察データの統計科学」だろう。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学) 作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリック: 285回この商品を含むブログ (26件) を見る ところがこの本、数式を中心に難が多く、読み始めたはいいけど困っているという人がかなり多そうだ。実は社内の機械学習勉強会でこの本を紹介したのだが、数式のフォローがかなり大変で、そこそこ端折ったにもかかわらず、３章が終わるまでに７回ほどかかってしまった。 特に３章頭の「難所」については、社内勉強会の時の資料をもとにメモを書いてブログに公開したりもしている。 「調査観察データの統計科学」3.1章 傾向スコアの数式メモ（前半）
Introducing JASP: A free and intuitive statistics software that might finally replace SPSS
Are you tired of SPSS’s confusing menus and of the ugly tables it generates? Are you annoyed by having statistical software only at university computers? Would you like to use advanced techniques such as Bayesian statistics, but you lack the time to learn a programming language (like R or Python) because you prefer to focus on your research? While there was no real solution to this problem for a l
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
相関係数の大きさに対する目安の歴史的変遷 - Tarotanのブログ
2022年3月15日 Googleドライブの権限変更のため，ファイルが共有されていませんでした．リンクを変更しました． 「相関係数が0.7あれば、相関が高いと言える」 などの目安を、教科書や入門書で見かけたことは ありませんか？ 私は、ちょくちょく目にするのですが、 どこの 誰が いつ 言い出したのか、ずっと不思議に思っています。 下記のリンクにあるPDFファイルで、その歴史的 変遷を追ってみました。 相関係数の大きさに対する目安の歴史的変遷.pdf 相関係数の大きさに対する目安の歴史的変遷.pdf - Google ドライブ 長くてすみません。 上手にまとめることができませんでした。 今回調べたところでは、20世紀初頭のアメリカに おける統計学や教育統計学の入門書において、 いくつかの目安が誕生したようです。 イギリスのGalton, K. Pearson, Spearmanなども 相関
文系でもわかる、使える「データ分析・図表作成」術［3］相関と単回帰分析
ブームの統計学をかじってみたが、仕事での使い方がわからない──。そんな悩み、ありませんか？ 例題を解きながら、その活用法を解説します。 相関と単回帰分析 社長はびっくり！ 目標設定、費用対効果シミュレーション 【例題】新規部門の立ち上げ、成功なら大抜擢 社長室へ来るようにとの内線電話が入り、ドアをノックしました。「君の仕事ぶりは聞いている。わが社ではより競争力を高めるために、品質向上部をつくることにした。呼んだのはほかでもない。君にその部長を任せようと考えている」。社長は続けます。「配達遅れの問題を徹底的に分析して、部門における具体的な数値目標を立ててもらいたい」。次の用事がある。社長はそう言うと部屋を出ていきました。 あなたはさっそく、社内にあるデータを探しました。配達に関連するデータA（図参照）は見つかりましたが、それらをどう使って、論理的に何が言えるのかわからなくなってしまいました
【統計学】初めての「標準偏差」（統計学に挫折しないために） - Qiita
統計をこれから学ぼうという方にとって、非常に重要な概念ですが理解が難しいものに「標準偏差」があると思います。「平均」くらいまでは馴染みもあるし、「わかるわかるー」という感じと思いますが、突如現れる「標準偏差」 の壁。結構、この辺りで、「数学無理だー」って打ちのめされた方もいるのではないでしょうか。 先にグラフのイメージを掲載すると、下記の赤い線の長さが「標準偏差」です。なぜこの長さが標準偏差なのか、ということも解き明かしていきます。 (code is here) 本記事では数学が得意でない方にもわかるように１から標準偏差とはなにか、を説明してみようという記事です。 数式はわかるけど、イマイチ「標準偏差」の意味わからんという方にも直感的な理解がしてもらえるような説明もしていきますので、ぜひご覧ください。 （※ この記事では標準偏差の分母に $n$を使用しています。$n-1$を使用するケースも
Rゼミ/R初心者ゼミ - 引越作業中
このゼミでは、Rのまったくの初心者が、ある程度Rを使ってデータを見ることができるようになることを目的とします。 このページでは、データを取った後に研究者が行うと思われる手順をRで実行する方法について解説します。より詳細な技術については、以下のページをご覧下さい。
初心者でもほぼ無料でR言語を勉強できるコンテンツ10選 - paiza開発日誌
Photo by Hermann Kaser こんにちは。谷口がお送りします。 ITエンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。 R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統計解析機能が付いていて、解析処理やその結果をグラフィカルに表示することができます。 そのため、多量のデータ解析が求められるソーシャルゲームの解析や、リサーチ、データマイニング、アソシエーション分析が必要な業務の求人が増えています。 また近年データサイエンティストが注目されていることもあり、今後求人が増えることが予想されます。 そこで今回は、プログラミング未経験～初心者の方が、なるべくコストをかけずにR言語に触れられて、学習に役立てられるコンテンツを10件ご紹介していきます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://rtokei.tech/bayes-analysis/bayesian-inference-using-gibbs-sampling%E3%80%9C%E3%81%9D%E3%81%AE6-5%E3%80%9C/
フリーの統計分析ソフトHAD：機能の紹介と統計学習・教育，研究実践における利用方法の提案 | 清水 裕士 | メディア・情報・コミュニケーション研究
Beyond Bar and Line Graphs: Time for a New Data Presentation Paradigm
