ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
データサイエンス・スクール/統計力向上サイト
パソコンやスマートフォンなどで気軽に学べるオンラインの統計講座「データサイエンス・スクール」です。
データマイニングで理想の彼女をGetだぜ！ - 発声練習
ある国際会議のkeynote Speechの中で紹介されていた話。非常に面白かった。 Wired: How a Math Genius Hacked OkCupid to Find True Love 「いまどきの若い男は、なんでもコンピュータか！」とか思われるかもしれないけど、何をしたのかを読んでみると「これって、単なるナンパの方が楽だったんじゃないか？」と思わされる。 登場人物のスペック この人の経歴がアメリカ的。 名前：Chris McKinlay (35歳） 経歴 2001年：Middlebury College を卒業。専攻は中国語 同年：世界貿易センターで中国語から英語への翻訳のアルバイト。アルバイトを辞めた5週間後に9・11。 〜2002年：その後、友達に誘われて、an offshoot of MIT’s famed professional blackjack team に
とっつきにくいけど実はエクセル以上に賢いヤツ フリー統計解析ソフトウェア「R」を触ってみよう【R入門講座】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
統計解析 & R言語超初心者入門資料まとめ
興味を持ち続けていた統計解析や、R言語の勉強をはじめました！ まだまだ初歩の初歩ですが、この記事がいつか偉大な一歩になれるように頑張っていく所存ですw まずは、R言語や統計解析に関する入門記事や、モチベーションがアップしそうな記事をまとめていきます！ (02/23 11:00) 初学者の人にお勧めな資料にフォーカスしてまとめ直し 🍮 [スライド] 統計学入門 統計学の全体像をつかむのに最適なスライドです。初歩…とはちょっと呼べないくらい内容が深いです！ 🏈 [スライド] 初めての「R」 統計解析を始めるときにWindowsな方も、Macな方もとっつきやすのが『R』です。このRを完全初心者をターゲットに説明をしていただけている資料です。超わかりやすいです！ 🍄 [デスクトップアプリケーション] R用のIDE: RStudioRStudio RStudioはR言語用のIDEです。Wind
データサイエンスのお奨め教科書。統計屋さん的視点から - hotokuとは
知人に、確率・統計を勉強するにはどんなん読んだら良いんかね？と聞かれたので、まとめる。 線形代数 統計を勉強しようと思ったら、先ず、線形代数を勉強するのが良いと思う。回帰分析とか主成分分析とか多次元尺度構成法とか、こういう有名ドコロが一発で分かる。線形代数を知らずに統計の本で「コレコレの計算で出てきた値が第一主成分だよ」みたいな説明を何回くり返し読んでも、多分、一生理解出来無いと思う。対称行列は直交行列で対角化出来るよね、とか、これは射影行列の形だね、とかが自然に分かるようになってから、統計の本を読むとよく理解出来る。 で、線形代数のお奨めはこれ。 プログラミングのための線形代数 作者: 平岡和幸,堀玄出版社/メーカー: オーム社発売日: 2004/10/01メディア: 単行本購入: 27人 クリック: 278回この商品を含むブログ (90件) を見るプログラミングのための…とあるんだけど
オンラインで無料で読める統計書22冊｜Colorless Green Ideas
はじめに 今回は、ウェブを通じて無料で読むことができる統計に関する書籍を紹介したい。英語で書かれた本が多いが、日本語で書かれた本も若干ある。 入門書 まず、統計の初学者のために書かれた入門書を紹介したいと思う。 福井正康 (2002). 『基礎からの統計学』基礎から扱っている統計の入門書である。統計を扱う際に必要となる場合の数、確率などについて詳しく説明している。理解を助けるための演習問題とその解答がついている。統計処理用のソフトとしてはExcelを使っている。同じサイトに社会科学系の学生向けの数学の教科書もある。 小波秀雄 (2013). 『統計学入門』基礎から扱っている統計の入門書。内容としては、記述統計、確率、確率分布、簡単な推定・検定、相関と線形回帰などがある。確率や確率分布などの理論的な話が占める分量が多いので、分量のわりには、具体的な統計手法はあんまり載っていない。もちろん理論
ニコニコ動画のデータセットが公開されたらしい - 唯物是真 @Scaled_Wurm
研究用にニコニコ動画のコメント約300GBを公開‐ニコニコインフォ 情報学研究データリポジトリ ニコニコ動画コメント等データ 国立情報学研究所のダウンロードサービスでニコ動のデータセットが公開されていたので、とりあえずダウンロードしてみました ダウンロードの手順 以下のページで、名前、メールアドレス、所属を入力すればよいみたいです。 情報学研究データリポジトリ ニコニコ動画コメント等データ 申請 データの形式 行ごとにそれぞれの動画のjsonが書かれたファイルがたくさんあります。 コメントのデータもありますが、ユーザーに関する情報はないみたいです 動画の説明などには<b></b>や<font></font>、<br />などのHTMLタグが含まれていましたので、それらの除去が必要になりそうです タグの頻度 なんか面白いことできないかなーと考えたんですが、何も思い浮かばなかったので、とりあえ
国勢調査など政府統計データをCSV化してダウンロードできる「統計くん」 政府API活用
個人開発者の矢野さとるさんは6月12日、10日に公開された「次世代統計利用システム」のAPIを活用し、国勢調査などの政府が持つ統計データをCSV形式でダウンロードできるWebサービス「統計くん」を公開した。 次世代統計利用システムは、統計のオープンデータの高度化に向け、統計センターが総務省統計局と協力して提供しているシステム。政府の統計ポータル「e-Stat」でデータベース化されている統計データを、XMLやJSONなどで出力するREST方式のAPIを提供している。 統計くんは同APIを活用し、国勢調査、事業所・企業統計調査、全国物価統計調査、家計消費状況調査などについて、調査結果をWebブラウザ上に表示したり、条件を絞り込んで分類したり、CSV化してダウンロード可能。今後は、グラフ生成やクロス集計機能などの実装を検討している。 関連記事 「PM2.5まとめ」正式公開 現在地のPM2.5濃度
小標本問題と t検定 - ほくそ笑む
統計を学び始めると「t検定」というのが最初のほうで出てくると思います。 t検定は、20世紀前半に活躍した統計学者、ウィリアム・ゴセットによって「小標本問題」というのを解決するために考案されました。 小標本問題とは、正規分布の平均値の検定に正規分布を用いると、サンプルサイズが小さい場合にαエラーを過小評価してしまうという問題です。 今日はこの小標本問題とそれを解決する t検定について R によるシミュレーションを使って説明してみたいと思います。 正規分布の平均値の検定 確率変数 が正規分布に従うとき、その平均値もまた、正規分布に従います。 数式で書くと、 となります。（分散が されていることに注意） なので、正規分布の平均値の検定には正規分布を使用すれば良いように思われます。 これを R でシミュレートしてみましょう。 # 正規分布を使用して平均値が 0 と等しいかの p値を求める norm
博報堂「生活定点」データ20年分を無料公開
博報堂は9月27日、シンクタンク「博報堂生活総合研究所」が20年間にわたって実施してきた生活者意識の定点観測調査「生活定点」のデータを無料で一般公開した。生活総研のWebサイトで、データを収録したExcelファイルと、質問票のPDFファイルをダウンロードできる。ユーザー登録なども不要だ。 同調査は1992年から20年間にわたって隔年で実施。同じ地域（首都圏・阪神圏）、同じ対象者設定（20～69歳の男女）に向けて同じ質問を継続して問い、回答を時系列で観測している。 衣、食、住、健康、遊び、学び、働き、家族、恋愛・結婚、消費、情報、メディア接触、社会意識、国際化と日本、地球環境など、生活者に関するさまざまな領域を網羅。項目は約1500におよぶ。 「長年にわたって蓄積してきた独自の生活者研究の資産を、これからは“社会全体の資産”にしていきたい」と無料公開を決めたという。研究者やマーケッターのほか
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
良書だと思う、色々な分野の統計本の紹介 - Interdisciplinary
メモがてら、これまで読んで解りやすかったり明瞭だと思った統計関連の本をご紹介します。精読はしていないけれどこれは良さそうだ、と思ったのも入れます。適当に分類して、カテゴリーごとに。 私自身も勉強中なので、これいいよ、というのがあれば教えてもらえれば幸い。 ※本の画像→説明文 という配置にしてあります ※上下巻ある場合には上巻のみリンクします 準備 少なくとも、中学生で習うくらいの数学は解っていないといかんともしがたいと思います。で、統計を勉強してみたい、でも数学は中学で挫折した、という私みたいな人間も多いだろうな、と。 方程式のはなし―式をたて解くテクニック 作者: 大村平出版社/メーカー: 日科技連出版社発売日: 1977/09メディア: 単行本購入: 7人 クリック: 281回この商品を含むブログを見る関数のはなし〈上〉 作者: 大村平出版社/メーカー: 日科技連出版社発売日: 201
コンプガチャの数理 -コンプに必要な期待回数の計算方法について- - doryokujin's blog
目次 1. 『コンプガチャの数理 -コンプに必要な期待回数の計算方法について-』 2. 『「数学的ゲームデザイン」というアプローチ』 3. 『コンプガチャの数理 -ガイドラインに基づいたゲームデザイン その1-』 4. 『コンプガチャの数理 -ガイドラインに基づいたゲームデザイン その2-』 目的 コンプガチャのコンプに必要な回数を求める問題は「The Coupon Collector's Problem」と呼ばれる数学モデルの枠組みに沿った美しい問題である事を述べ，いくつかの有用な結果を示す。 ※ あくまで個人研究のつもりで書いたので，色々不備があるかもしれません。その際は一言頂けると助かります。 定義 コンプガチャ問題を Coupon Collector's Problem に準じた形で書くと以下の様になる： 「全部で n 種類のアイテムがあって，1つのガチャの中にアイテムが1つ入って
「子供に解けて大人に解けない問題」を統計的に無理やり解いてみた - ほくそ笑む
今日は、R-bloggers に面白い記事が上がっていたので、それを紹介してみようと思います。 問題 「子供にはすぐに解けて、大人にはなかなか解けない不思議な問題」をご存知でしょうか？ 最近ネットで割と話題になりました。 その問題は、次のようなものです。 8809 = 6 7111 = 0 2172 = 0 6666 = 4 1111 = 0 3213 = 0 7662 = 2 9312 = 1 0000 = 4 2222 = 0 3333 = 0 5555 = 0 8193 = 3 8096 = 5 7777 = 0 9999 = 4 7756 = 1 6855 = 3 9881 = 5 5531 = 0 2581 = ? https://twitter.com/#!/yappyJP/statuses/172086299099004928 なかなか面白い問題です。 答えはここでは書きませ
主座標分析について簡単に紹介するよ！ - ほくそ笑む
今日は主座標分析(Principal Coordinate Analysis; PCoA)の紹介を簡単にしたいと思います。 主座標分析は古典的多次元尺度構成法(Classical Multidimensional Scaling; CMDS)とも呼ばれる統計解析手法です。 この解析手法を使用する主な目的は、高次元のデータを2次元や3次元に落として視覚化したいという時に使います。 以前紹介した主成分分析と同じような感じですね。*1 主成分分析との違いを簡単に言うと、主成分分析はユークリッド距離をなるべく保ちながら低次元に落とす方法ですが、主座標分析はユークリッド距離だけでなく、他の距離や類似度*2が使えるという点にあります。 例えば、ユークリッド距離の代わりに相関係数を使えば、相関の高いもの同士が近い配置になるようなプロットを作ることが可能です。 データを用意する さっそくやってみたいのです
統計を学びたい人へ贈る、統計解析に使えるデータセットまとめ - ほくそ笑む
はじめに 統計解析の手法を学ぶのに、教科書を読むのは素晴らしい学習方法です。 しかし、教科書で理論的なことを学んだだけでは、統計手法を使いこなせるようにはなりません。 統計解析手法を身につけるには、実際のデータについて手法を適用し、パラメータを変えるなどの試行錯誤を行い、結果を考察するというような経験を積むことが大切です。 それでは実際のデータをどうやって手に入れましょうか？ 実験や調査をして実際のデータを得るのは大変でお金もかかります。 幸運なことに、世の中には適度なサイズの自由に使えるデータがたくさん存在します。 例えば、統計言語 R には、100以上ものデータセットがデフォルトで付属しています。 ただし、不幸なことに、それらのほとんどは英語で説明が書かれています。 英語は、いつかは乗り越えなければならない壁ですが、最初のうちはちょっと避けて通りたいところです。 というわけで、今日は、
はてなブログ | 無料ブログを作成しよう
わたし的棚ぼた一万円選書 急に千葉さんに手渡された封筒、開けてみたら1万円札が1枚。何ごとかと思えば、同期の出張を代わったお礼をもらったらしい。 「葵はワンオペで育児してくれたから」と半分わけてくれました。 泡銭の1万円 これはもう、わたし的1万円選書をしろという思し召しなのでは……
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計科学・機械学習の講義
【地図ウォッチ】第151回：統計データを地図上に簡単に可視化できるツール「GeoFuse」 ほか 