Rによるデータクリーニング実践――政府統計からのグラフ作成を例として｜Colorless Green Ideas
データクリーニングが繁雑な作業であることを示すために、政府の統計データから日本の男のみの高校と女のみの高校の数の推移をグラフ化する事例を紹介する。クリーニングの作業にはR言語を用い、複数のファイルを統合し、整然データに変え、グラフを作成する。 はじめに データクリーニングは、データ分析の際に非常に重要なプロセスの1つであるが、データ分析の教科書では必ずしも十分に扱われていない。そこで、現実のデータクリーニングがどのように行われるかについて、一事例を紹介したいと思う。具体的には、統計処理に適したプログラミング言語のRを用いて、粗悪なデータから簡単な折れ線グラフが作成できる程度のきれいなデータにするまでのデータクリーニングを実施していく。 本記事の対象読者 本記事は、既存のデータに対して自らの手でデータ分析を実施している人、または実施しようと考えている人を主な対象にしている。データ分析の際にど
いろいろな確率分布のパラメータをいじくるアプリ @ksmzn #Shiny
いろいろな確率分布のカタチを見ることができるWebアプリです。 パラメータをいじくって、確率分布のカタチがどのように変わるのか観察しましょう。 上部メニュー からお好きな確率分布を選んでください。 このアプリはR言語のWebアプリフレームワークであるShiny で、@ksmznが作りました。 ご指摘や、追加すべき確率分布などがありましたらTwitterで教えてくださると助かります。 また、全てのコードはGitHubにもおいてありますので、拙いコードでよろしければ参考にしてください。 時間があれば、グラフをggplot2ではなく、D3.jsなどを使ったインタラクティブなものにしたいですね。 参考文献 このアプリを使う際に参考にしたページは以下です。 特に、まだまだShinyの日本語情報が少ないなか、 @hoxo_mさんの記事やコードはとても参考になりました。 @hoxo_mさん、ありがとうご
Pythonで統計学を学ぶメリットは？勉強の手順も解説
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
私のための統計処理ー基本解説
実験はギャンブルのようなもので、 どんな結果が出るかはわからないが、 実験計画を立てる。 「2群に差がない!」という帰無仮説を立てる。 群間のサンプルの選択は公平にしなければならないが、 勝率が高くなるような実験計画をデザインも必要である。 生物実験では、物理科学実験とは異なり、 得られるデータは必然的にばらつきを伴う。 測定者による誤差 ---実験技術の向上に伴い、 データの信頼度は上がる！ 測定装置、あるいは測定方法による誤差 測定されるものの性質による個体差
「p値や有意性に拘り過ぎるな、p < 0.05かどうかが全てを決める時代はもう終わらせよう」というアメリカ統計学会の声明 - 渋谷駅前で働くデータサイエンティストのブログ
以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p
真のデータ・サイエンティスト養成めざす滋賀大学データサイエンス学部の教育内容とは？
1954年生まれ。78年早稲田大学政治経済学部卒業後、ダイヤモンド社入社。「週刊ダイヤモンド」編集長などを経て現職。著書に『複雑系の選択』『めちゃくちゃわかるよ！経済学』（ダイヤモンド社）『浦安図書館を支える人びと』（日本図書館協会）など。 これならわかるよ！経済思想史 ３つの主要思想「新古典派経済学」「ケインズ経済学」「マルクス経済学」が一気につかめる！ 経済思想史というのは、経済現象や経済行為の背景にある考え方の変遷です。 経済学の理論も、経済思想史を知ることで胸にストンと落ちるし、 世界の政治や経済が動くメカニズムへの理解もグッと深まるのです。 バックナンバー一覧 統計学といえば日本では長らく、経済学部や工学部の一部（学科ですらない！）という位置づけにありました。しかし遂に日本で初めて、独立した“統計学部”が登場します。その名も「データサイエンス学部」。前回の滋賀大学長の佐和隆光先生
Introducing JASP: A free and intuitive statistics software that might finally replace SPSS
Are you tired of SPSS’s confusing menus and of the ugly tables it generates? Are you annoyed by having statistical software only at university computers? Would you like to use advanced techniques such as Bayesian statistics, but you lack the time to learn a programming language (like R or Python) because you prefer to focus on your research? While there was no real solution to this problem for a l
実務で使う統計手法は、５つ。すごい、そんなシンプル？
このセミナー、冒頭の渋谷 直正さん(日本航空 旅客販売統括本部Web販売部 1to1マーケティンググループ アシスタントマネジャー)のお話がとても参考になりました。 まず、渋谷さんはご存知のように、2014年に「データサイエンティスト・オブ・ザ・イヤー」を受賞され、ビジネス・サイドにおける、データサイエンスのリーダー的存在です。 その渋谷さんの「実務で使う分析手法は５つで十分、マーケターこそデータサイエンティスト候補」という講演は、多くの示唆に富んだものでした。 まず、みなさんが気にしている５つの手法とは、 クロス集計 ロジスティック回帰 決定木 アソシエーション分析 非階層的クラスター分析（k-meansなど） の５つです。統計の教科書にはさまざまな手法が出てきますが、マーケターが実務で使うのはこの５つ程度だと説明されるのです。でも、この説明には、私も思い当たる部分があります。東大の数学
相関係数の大きさに対する目安の歴史的変遷 - Tarotanのブログ
2022年3月15日 Googleドライブの権限変更のため，ファイルが共有されていませんでした．リンクを変更しました． 「相関係数が0.7あれば、相関が高いと言える」 などの目安を、教科書や入門書で見かけたことは ありませんか？ 私は、ちょくちょく目にするのですが、 どこの 誰が いつ 言い出したのか、ずっと不思議に思っています。 下記のリンクにあるPDFファイルで、その歴史的 変遷を追ってみました。 相関係数の大きさに対する目安の歴史的変遷.pdf 相関係数の大きさに対する目安の歴史的変遷.pdf - Google ドライブ 長くてすみません。 上手にまとめることができませんでした。 今回調べたところでは、20世紀初頭のアメリカに おける統計学や教育統計学の入門書において、 いくつかの目安が誕生したようです。 イギリスのGalton, K. Pearson, Spearmanなども 相関
【統計学】初めての「標準偏差」（統計学に挫折しないために） - Qiita
統計をこれから学ぼうという方にとって、非常に重要な概念ですが理解が難しいものに「標準偏差」があると思います。「平均」くらいまでは馴染みもあるし、「わかるわかるー」という感じと思いますが、突如現れる「標準偏差」 の壁。結構、この辺りで、「数学無理だー」って打ちのめされた方もいるのではないでしょうか。 先にグラフのイメージを掲載すると、下記の赤い線の長さが「標準偏差」です。なぜこの長さが標準偏差なのか、ということも解き明かしていきます。 (code is here) 本記事では数学が得意でない方にもわかるように１から標準偏差とはなにか、を説明してみようという記事です。 数式はわかるけど、イマイチ「標準偏差」の意味わからんという方にも直感的な理解がしてもらえるような説明もしていきますので、ぜひご覧ください。 （※ この記事では標準偏差の分母に $n$を使用しています。$n-1$を使用するケースも
初心者でもほぼ無料でR言語を勉強できるコンテンツ10選 - paiza開発日誌
Photo by Hermann Kaser こんにちは。谷口がお送りします。 ITエンジニアの方の中には「R言語を学習したい」という方も多くいらっしゃるかと思います。 R言語は、データ分析やデータ処理に特化したオープンソースのプログラミング言語です。システムを開発をする他のプログラムミング言語とは位置付けが異なり、統計解析機能が付いていて、解析処理やその結果をグラフィカルに表示することができます。 そのため、多量のデータ解析が求められるソーシャルゲームの解析や、リサーチ、データマイニング、アソシエーション分析が必要な業務の求人が増えています。 また近年データサイエンティストが注目されていることもあり、今後求人が増えることが予想されます。 そこで今回は、プログラミング未経験～初心者の方が、なるべくコストをかけずにR言語に触れられて、学習に役立てられるコンテンツを10件ご紹介していきます。
パソコンを持たない若者
私は大学で調査統計の授業（3年生対象）を持っていますが，エクセルで簡単な棒グラフを作れない学生さんが結構いることに驚いています。 話を聞くと，「エクセルなんて，1年時のコンピュータ活用の授業以来，全然開いていない。きれいさっぱり忘れた」とのこと。それどころか，パソコンに触れることもあまりないのだそうです。じゃあ，彼らの生命線ともいえるネットはどうしているのかというと，言わずもがなスマホなどの小型機器です。仲間との通信，買い物，情報収集などはこれで十分。 私などはその逆で，ケータイもスマホも持ちませんが，卓上のパソコンは必需品です。ネットはスマホでもできますが，私は目が悪いので，小さい画面はきつい。それに生業であるデータ分析や原稿執筆は，パソコンでないとどうにもなりません。 私は，若者のデジタル事情について興味を持ち，データで実態を明らかにしてみました。国際比較によって，わが国の状況を相対化
『ダメな統計学』冊子PDFの公開｜Colorless Green Ideas
『ダメな統計学』表紙 現在の科学研究において統計が誤用されていることが非常に多く、そのために科学研究の信頼性が揺らいでいることを記した『ダメな統計学』の冊子PDFを公開する。これは、アレックス・ラインハート氏が書いたStatistics Done Wrongの全訳である。理解を深めるために、訳注を比較的豊富に加えた。 2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』の冊子PDFに比べると、大幅に加筆されている。ページ数で言うと2倍以上になっている。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 『ダメな統計学
東京大学出版会『統計学入門』は入門を一通り終えた人におすすめ｜Colorless Green Ideas
東京大学出版会から出ている『基礎統計学I 統計学入門』という本がある。 東京大学教養学部統計学教室〔編〕 (1991). 『基礎統計学I 統計学入門』 東京：東京大学出版会． この本は、統計を学ぶ際によくすすめられる一冊である。例えば、ウェブ上にある記事で、『統計学入門』を挙げているものに以下のようなものがある。 2014年春版：ビジネスにおけるデータ分析のプロを目指すなら揃えておくべき12冊（銀座で働くData Scientistのブログ） 一年で身に付ける！Rと統計学・機械学習の4ステップ（iAnalysis ～おとうさんの解析日記～） 統計分析を学ぶための書籍20選（XICA-Labs データ・統計分析研究所） それでは、なぜこの本はすすめられるのだろうか？ そして、どういう人がこの本を読むべきなのだろうか？ タイトルに『統計学入門』とあるように、統計の初心者にとって良い本なのだろう
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
相関係数の大小は相関の有無とは全く関係ない件について。
話題になった日経のトンデモグラフに対する突っ込みで、相関係数には言及してもp値、有意水準についての言及は少なく、勘違いしている人が多いのではないか？と感じたのでブラッシュアップも兼ねてまとめました。
人口密度と出生率
2014年10月29日の日経新聞記事（真相深層）少子化対策より交付金？ 地方創生「東京集中是正論」の裏側 都市の若者支援急務（有料）に載っている「欧州の地域別人口密度と出生率」というプロットがひどいというこのツイートが話題になっていた。 データについては，微妙に違うようだが，鈴木努先生（@snatool）に教えていただいたものがほぼ同じようである： tgs00100 (Fertility Rate) tgs00024 (Population Density) これら（gunzipで伸長）をRで読み込む。 fertility = read.table("tgs00100.tsv", header=TRUE, as.is=TRUE, na.strings=":") popden = read.table("tgs00024.tsv", header=TRUE, as.is=TRUE, na.s
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://rtokei.tech/bayes-analysis/bayesian-inference-using-gibbs-sampling%E3%80%9C%E3%81%9D%E3%81%AE6-5%E3%80%9C/
フリーの統計分析ソフトHAD：機能の紹介と統計学習・教育，研究実践における利用方法の提案 | 清水 裕士 | メディア・情報・コミュニケーション研究
http://ff14bench.info/sangokushi/