確率・統計は、マーケティングに使えるらしいぞ - hiroyukikojima’s blog
今回は、マンガ統計学とマーケティングとアニメのことをクロスオーバーしてエントリーしようと思う。 昨年読んだ本として出色だったのは、森岡毅・今西聖貴『確率思考の戦略論』角川書店だ。この本は、著者たちが、確率理論を使ってテーマパークUSJを現実に成功させた、その方法論をまとめたものだ。 確率思考の戦略論 USJでも実証された数学マーケティングの力 [ 森岡毅 ] ジャンル: 本・雑誌・コミック > ビジネス・経済・就職 > 産業 > 商業ショップ: 楽天ブックス価格: 3,456円この本を知ったきっかけは、昨年、ある雑誌から統計学についての取材を受け、そのときの記者さんから教えてもらったことだった。雑誌の取材というのは、記者さんが書きたいことを決めてくることが多く、取材を受ける側としては退屈なものなのだが、記者さんから知らない情報を教えてもらうことがあって、軽視できない。 記者さんから聞いて本
実務の現場においてモデリング（統計学的・機械学習的問わず）を行う上での注意点を挙げてみる - 六本木で働くデータサイエンティストのブログ
気が付いたら僕がデータ分析業界に身を置くようになってそろそろ5年近くになるんですね*1。この5年間の間に色々勉強したり業界内で見聞してきた経験をもとに、「実務の現場においてモデリングを行う上での注意点」についてだらだらと書いてみようと思います。 と言うのも、色々な現場で様々なモデリング（統計学的にせよ機械学習的にせよ）が行われていることが伝わってくるようになった一方で、ともすれば「え？こんな基礎的なポイントも守ってないの？」みたいなとんでもないモデリングがまかり通る現場があると愚痴る声を業界内で聞くことが少なくないので。自戒の意も込めて重要なポイントを備忘録としてブログ記事にまとめておくのも有益かなと思った次第です。 この記事では手法選択（線形・一般化線形・ベイズ＋MCMC・識別関数・識別モデル・生成モデル・樹木モデル・Deep Learning etc.）の話題は割愛しました。一般に、モ
一般化線形混合モデル入門の入門
2014.12.6. Nagoya.R #12 外国語教育研究の仮想データを用いてRのlme4パッケージやlmerTestパッケージを使ってみるというような主旨の発表です。 slideshare上から無料でダウンロードできなくなってしまったので，speakerdeckにも同じ資料をあげました。ダウンロードされたい方，広告がうっとおしいという方は下記のURLからどうぞ。 https://speakerdeck.com/tam07pb915/an-introduction-to-lme Read less
SAGE Journals: Your gateway to world-class research journals
Access Options You can be signed in via any or all of the methods shown below at the same time.
ダメな統計学：目次｜Colorless Green Ideas
2017年1月20日追記：『ダメな統計学――悲惨なほど完全なる手引書』という本が出版されることになった。この本は、ここに掲載されているウェブ版の『ダメな統計学』に大幅に加筆したものだ。ウェブ版の『ダメな統計学』を読んで興味を持った方は、書籍となった『ダメな統計学』をぜひ読んでいただければと思う。書籍版の詳細については「『ダメな統計学――悲惨なほど完全なる手引書』の翻訳出版」という記事をご参照願いたい。 ここに公開する『ダメな統計学』は、アレックス・ラインハート (Alex Reinhart) 氏が書いたStatistics Done Wrongの全訳である。この文章は全部で13章から構成されている。詳しくは以下の目次を参照されたい。 はじめに データ分析入門 検定力と検定力の足りない統計 擬似反復：データを賢く選べ p値と基準率の誤り 有意であるかないかの違いが有意差でない場合 停止規則と
誤解しやすかったり紛らわしかったりする統計の話達 - Interdisciplinary
統計の話題で、こういう誤りをよく見るなあ、とか、ここら辺はややこしいなあ、的なものを、エッセイ風に書いてみます。 各トピックの最後に、参考資料を紹介したりします。 色々な話題を扱うので、エントリー全体で、このくらいの知識を持っている層向け、みたいな想定はしていないです。下に行くほど、知っている人向けになる、という感じ。 標本数と標本の大きさ 調べたい集団全体から採り出した個体の数の事を、標本数と書くのをよく見かける。でも正確にはこれは、標本の大きさと言う。この違いは、標本という言葉をどのように捉えるか、に起因するもの。標本を、調べたい集団に属する要素と考えるか、含まれる集合と捉えるか。前者で考えると標本数を使う事になるけれど、抽出した集まりそのものを標本とすれば、標本数とは言えなくなる。で、集合に属する要素の数の事を、集合論では大きさというので、それを踏まえて、標本の大きさと言う。 たとえ
女性の労働参加率と出生率の相関関係は「ない」 --東猴 史紘 : アゴラ - ライブドアブログ
女性の社会進出に関して議論がなされるとき、時折目にする意見がある。「女性の労働参加率と出生率の関係は”正”である。よって女性の労働参加率が高くなるほど出生率が高くなるので女性の社会進出を進めるべきだ」という意見である。 結論を先に述べると、この意見は正しくない。なぜならば、女性の労働参加率と出生率の相関関係は「ない」からだ。つまり、女性の労働参加率が高くなれば出生率が高まるということは言えない。 しかし、色んな政府機関や金融機関などが女性の労働参加率と出生率の相関関係は「正」であると主張をしているのはなぜか。それは内閣府がH17年に発表した国際報告書で使った分布図を根拠にしているからである。以下がその分布図である。2000年のデータでOECD24カ国の分布図を作成している。 Rは相関係数といい、2乗したR2を寄与率という。一般により正確な相関関係の有無をみるときには寄与率R2が用いら
FrontPage - 情報論的学習理論と機械学習の「朱鷺の杜Wiki」
朱鷺の杜Wiki（ときのもり うぃき）† 朱鷺の杜Wikiは，機械学習に関連した，データマイニング，情報理論，計算論的学習理論，統計，統計物理についての情報交換の場です．これら機械学習関係の話題，リンク，関連事項，書籍・論文紹介などの情報を扱います． 更新されたページを確認するにはRSSリーダを使って右下のRSSリンクをチェックするか，最終更新のページを参照してください． ページの中でどこが更新されたかを見るには，上の「差分」をクリックして下さい． 数式の表示に MathJax を利用しています．数式の上でコンテキストメニューを使うと各種の設定が可能です．特に設定をしなくても数式は閲覧できますが，フォントをインストールすれば数式の表示がきれいで高速になります．詳しくは 数式の表示 のページを参照して下さい． ごく簡単なWikiの使い方がこのページの最後にあります．トップページやメニューなど
推計統計学 - Wikipedia
出典は列挙するだけでなく、脚注などを用いてどの記述の情報源であるかを明記してください。記事の信頼性向上にご協力をお願いいたします。（2016年9月） 推計統計学（すいけいとうけいがく、英: inferential statistics, inductive statistics）あるいは統計的推論（英: statistical inferenece）とは、母集団全体を知ることができない場合に、母集団から抽出された部分集団（抽出集団、標本集団）をもとに、確率論を用いて母集団の様子を推定する統計学の分野を言う。推計という語は、推定、推論、推測などと訳されることもある。 概要[編集] 19世紀後半から20世紀初頭にかけて発達した統計学は、現在では推計統計学と区別して、「記述統計学 (descriptive statistics) 」と呼ばれている。集団の規則性を求めることが統計学の目的であるが、
職業別の生涯未婚率
生涯未婚率という指標をご存知でしょうか。読んで字のごとく，生涯，未婚の状態にとどまる者がどれほどいるかです。 これは，全人口の人生を死ぬまで追跡して出すような，込みいったものではありません。生涯未婚率としては，50歳時点の未婚率が用いられます。この年齢以降は，結婚する者はほとんどいないであろう，という仮定に立つわけです。 なお，多くの官庁資料の年齢統計は5歳刻みのものですが，5歳刻みの統計から生涯未婚率を出す場合，40代後半と50代前半の未婚率を平均するという便法がとられます。 私は，この方式に依拠して，男女の生涯未婚率を職業別に計算してみました。こういうデータは見かけないので，興味を持った次第です。正規・非正規の影響を除くため，正規職員男女の率を出すこととします。資料は，2012年の総務省『就業構造基本調査』です。 http://www.stat.go.jp/data/shugyou/2
Stanで統計モデリングを学ぶ(1): まずはStanの使い方のおさらいから - 渋谷駅前で働くデータサイエンティストのブログ
（※Stan v2.4.0以降でインストール方法に若干変更があります！詳しくはこの記事の中ほどをご覧ください） さて、年初の抱負でも語ったように今年はStanを頑張って会得していこうと思います。理由は簡単で、ありったけの要素を詰め込んでMCMCサンプラーでガンガン推定していくような階層ベイズモデリングに自分の興味としても惹かれる上に、実務でも必要になりそうな見通し*1だからです。 Stan: Project Home Page 既に以前の記事でも簡単に触れてますが、StanはC++ベースのコンパイラで高速化させたMCMCサンプラーです。文法も簡単でなおかつ高速なので、BUGSでは時間がかかり過ぎて辛かった計算でも比較的サクサク回せます。 このシリーズを通して参考にするのは、@berobero11さんのブログです。 Small Data Scientist Memorandum 本当にもう、
「A/Bテストの数理」への批判：「有意」とはなにか - 廿TT
目次 ※誤解を招く書き方だったようですが、本記事の主張は有意水準を20%にしろということではないです。仮説検定をやるなら、「有意」っていうのがどういうことか、わかった上でやろうよ、ということです。そして意思決定を「有意水準5%」に丸投げするのはやめよう、リスクとベネフィットを考慮しようということです。 はじめに 「A/Bテストの数理」への批判 よくありそうな質問や反論とその回答 A/Bテストのガイドライン：仮説検定はいらない（Request for Comments｜ご意見求む） - 廿TT に続く この記事は↓下記のブログへの批判です。 A/Bテストの数理 - 第1回：人間の感覚のみでテスト結果を判定する事の難しさについて - - doryokujin's blog ※注意：字が多いです。 けっこう話題になってるみたいなので、その尻馬にのろうとおもいました。 ↑字が多いのにこんなに読まれ
Facebook、Mixi、Twitter、Google+、Linkedinは誰にどのように使われているのか？2012/1ニールセン調査 | あんどろいどスマート
Facebook、Mixi、Twitter、Google+、Linkedinは誰にどのように使われているのか？2012/1ニールセン調査2012年03月04日17時42分 公開カテゴリー: ソーシャルキーワード: チップス Short URL ツイート ニールセン・ネットレイティングスは、2012年1月のFacebook、Mixi、Twitter、Google+、LinkedinのPCでのネット視聴率、視聴者属性を発表した。算定されているデータは上記のように、一部のユーザーのパソコンに導入されたソフトウェアでログを取り、ソレを統計処理をおこない、算出されているので推測値であり、実際の値と異なるケースもある。実際、mixiの公式発表では大きくこの視聴率の値を下回っている。そのため、完全に信用し切るのではなく、あくまで推測値として有効に使おう。そもそもスマホやタブレットが計測対象に入っていない
（後編）今回は因果関係があるのに相関関係が見られない4つのケースについてまとめてみた：中間変量の影響 - Take a Risk：林岳彦の研究メモ
どもっす。林岳彦です。先日、某所で統計解析の講師役をしました。その際に解析環境の準備の手間を省こうと思って、Amazon EC2上にRStudioのサーバー版を立てて、聴講者にそこに繋いでもらって実習をしようとしたのですが、いざ皆が繋いだらサーバーがクラッシュしまくって実習が全く進みませんでした*1 。。。すみませんでした(泣)*2。。 さて。 良かれと思ったもので逆に墓穴を掘る、というのは人生ではよくあることですよね！ 前回の「合流点の追加によるバイアス」はそんな例の一つでしたが、今回の「後編」ではそのようなもう一つの例として、「中間変量の追加によるマスク」のケースについて見ていきます。 因果関係があるのに相関が見られないケース（４）：中間変量によってマスクされている はい。では、中間変量によって因果効果がマスクされてしまうケースを見ていきます。 ここで「中間変量」というのは、「A→Z」
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.umds.ac.jp/kiyou/n/20-2/n20-2izawa.pdf
カップルが一緒にお風呂に入る割合をベイズ推定してみた
SURE: Shizuoka University REpository http://ir.lib.shizuoka.ac.jp/ This document is downloaded at: 2014-12-02T22:38:29Z Title 職業別死亡統計の日・北欧比較と年齢別死亡分析 Author(s) 藤岡, 光夫 Citation 静岡大学経済研究. 4
マルコフ連鎖モンテカルロとは
Facebook「いいね！」で知能指数もわかる