タグ

統計に関するkubomiのブックマーク (50)

  • 赤池情報量規準 - Wikipedia

    赤池情報量規準(あかいけじょうほうりょうきじゅん; 元々は An Information Criterion, のちに Akaike's Information Criterionと呼ばれるようになる)は、統計モデルの良さを評価するための指標である。単にAICとも呼ばれ、この呼び方のほうが一般的である。統計学の世界では非常に有名な指標であり、多くの統計ソフトに備わっている。元統計数理研究所所長の赤池弘次が1971年に考案し1973年に発表した[1]。 AICは、「モデルの複雑さと、データとの適合度とのバランスを取る」ために使用される。例えば、ある測定データを統計的に説明するモデルを作成することを考える。この場合、パラメータの数や次数を増やせば増やすほど、その測定データとの適合度を高めることができる。しかし、その反面、ノイズなどの偶発的な(測定対象の構造と無関係な)変動にも無理にあわせてしま

  • https://twitter.com/miko_maimai/status/991465829362368512

    kubomi
    kubomi 2018/05/04
    ……
  • 全くの偶然による相関関係の図表がなんか笑える「ニコラス・ケイジが映画に出るとプールで人が死ぬ?」

    岩塩 @ganen_hinakawa 図表1-3、ニコラスケイジが映画出る→みんながそれを見てハゲでもイケてる人はおるやんけという気分になる→来ならば濡れることを嫌う頭髪に自信のない人もプールに行くように→プールの利用者増からの溺死者増、という可能性があるのではないかな! >RT 2017-06-12 00:44:00

    全くの偶然による相関関係の図表がなんか笑える「ニコラス・ケイジが映画に出るとプールで人が死ぬ?」
  • 遅延届けの色眼鏡 - 小人さんの妄想

    遅延届けをたくさん出す学生は、デキが悪いのか? 私は現在、とある学校で1コマだけ非常勤講師を努めています。先生の話 >> [id:rikunora:20120407] 出欠の確認には、登録カードをタッチセンサーによってカウントするという、自動改札のような仕組みを使っています。 私が学生の時分には出席用紙を回したり、ときには代返(?!)があったりしたので、ずいぶんハイテク化したものだと感心します。 このハイテク出席システムでは、当然、1分でも遅れると遅刻扱いになります。 たまに電車の遅れが発生すると、大量の遅刻者が出ることになります。 また、中には登録カードを忘れたり、機械の調子が悪くてうまく登録できない学生も居ます。 そうした学生は、後から「遅延届け」や「出席届け」を紙で提出して、 それを出席データに登録し直すのは講師の役目となります。 登録を行っていて、1つ気付いたことがあります。 届け

    遅延届けの色眼鏡 - 小人さんの妄想
  • ベンフォードの法則 - { 適用と制限 }Wikipedia

    上に示した2つの図は、対数スケールの上にプロットした2つの確率分布である[注 1]。どちらの図でも、赤で示した部分の面積が最初の桁が1である確率に比例しており、青で示した部分の面積が最初の桁が8である確率に比例している。 左側の分布では、赤と青の領域の面積比はおおよそそれぞれの幅の比に等しくなっている。幅の比は普遍的で、ベンフォードの法則によって厳密に与えられる。したがって、こうした確率分布に従う数値はおおむねベンフォードの法則に従う。 一方、右の分布では、赤と青の領域の面積比はその幅の比から大きく外れている。右の図でも幅の比は左側の分布と同じになっている。赤と青の領域の面積比は、その幅よりもむしろ高さの比に依存して決定されている。幅と異なり高さはベンフォードの法則に普遍的な関係を満たさない。代わりにその数値の分布の形によって完全に決定される。したがって、1桁目の数値の分布はベンフォードの

  • Netent Casinos List 2019 - Best Casino Bonuses & Free Spins

    “Casino of the Month” is the currently featured online casino brand that you may want to visit, in order to receive the most exclusive content & Best Bonus that will be available for all players. Many things are taken under consideration while trying to pick the Best gambling site and present it within this section. Including the amount of games and current promotional campaigns, any of those may

  • http://black.ap.teacup.com/akiyah/1825.html

    http://black.ap.teacup.com/akiyah/1825.html
    kubomi
    kubomi 2015/12/15
    “ポアンカレのパン”
  • P値が有意になるように頑張りすぎちゃっていませんか?

    Natureに統計学的検定の問題についてのエッセイが出ていた。フィッシャー、ネイマン、ピアソンの言い争いの紹介も含めて、P値にまつわる議論を短くまとめている。何でも、この世には統計学的に有意であるのに再現性の無い調査や研究は多々あるのだが、統計学的な検定を盲信してしまい考察が疎かになっているせいだそうだ。 P値を扱うときの問題が三つ上げられている。一つは、偽陽性の可能性がP値から連想する以上に高いことだそうだ。統計学的な厳密な議論は説明されていなかったが、例えば帰無仮説が0.5のときに、P値が0.01で有意になったとしても、再現実験では11%以上の確率で再現が得られないそうだ。一つは統計的有意であることに満足して、その効果の大きさを考察しないことがあるそうだ。一つは、P値が有意になるように分析方法を工夫しすぎてしまうケース(P-hacking)があるそうだ。 エッセイでは探索的研究と検証的

    P値が有意になるように頑張りすぎちゃっていませんか?
  • Data dredging - Wikipedia

    A humorous example of a result produced by data dredging, showing a correlation between the number of letters in Scripps National Spelling Bee's winning word and the number of people in the United States killed by venomous spiders Data dredging (also known as data snooping or p-hacking)[1][a] is the misuse of data analysis to find patterns in data that can be presented as statistically significant

    Data dredging - Wikipedia
  • 文科省副教材「22歳をピークに女性の妊娠のしやすさが低下」のグラフは正しいか?

    瀬川深 Segawa Shin @segawashin しかし22歳をピークに妊娠しやすさが低下するってホンマカイナ。どうも怪しげな数字の予感がするなあ。ヒマな時にソース探してみますかね。 2015-08-22 08:53:19 瀬川深 Segawa Shin @segawashin 取り急ぎこんなの見っけた。 children.gov.on.ca/images/inferti… Canadian Fertility and Andrology Societyのサーベイ。少なくとも20代はほとんど変化ないとみていいんじゃないでしょうかね。 children.gov.on.ca/htdocs/English… 2015-08-22 09:04:36

    文科省副教材「22歳をピークに女性の妊娠のしやすさが低下」のグラフは正しいか?
  • TITLE

    閉鎖しました。

  • 確率概念について説明する(第1回):説明全体の構成 --- 確率概念の「規格」と「意味」 - Take a Risk:林岳彦の研究メモ

    どもです。林岳彦です。白泉社文庫の大島弓子作品から一冊選ぶなら『つるばらつるばら』だと思います*1。 さて。 今回からは長期のシリーズとして、「確率概念とは何か」についてガッツリと説明していきたいと思います。今回は、その第一回目として、「シリーズにおける説明の全体構成(予定)」について書いていきます。 シリーズでは確率概念の「規格」と「意味」について書いていきます ざっくり言いますと、シリーズの目的は「確率って何すか?」という問いに答えることです。 で、「確率って何すか?」という問いには以下の: 確率概念とはどのような「規格」をもった概念なのか? 確率の値(たとえば”0.5")は実際問題としてどういう内実的な「意味」を示しているのか? という方向性のちがう2つの問いが含まれていたりします。 前者の(1)については、たとえば、「確率は黄色である」「確率は150km/hである」という言い

    確率概念について説明する(第1回):説明全体の構成 --- 確率概念の「規格」と「意味」 - Take a Risk:林岳彦の研究メモ
  • 草「w」はどんなコメントに生えるか? - 唯物是真 @Scaled_Wurm

    書きかけの記事とか書いたけど公開してない記事が溜まっているので2014年になったのを機に公開して供養していく 以下の記事はニコニコデータセットを利用しています 情報学研究データリポジトリ ニコニコデータセット ネットスラングの草「w」は以下のように笑いとか強調を表す意味で使われます 吹いたw ちょまwww クソワロタwwwwwwwwwwwwwww最近国語辞典に載ったことでも話題になりました すごい!国語辞典に、この意味を載せたのは初めてですよ! ダブリュー[W](名)①②③省略④〔←warai=笑い〕〔俗〕〔インターネットで〕(あざ)笑うことをあらわす文字。「まさかwww」(以下略) (三省堂国語辞典第七版) pic.twitter.com/bFbb1HI3XE— 三国ことは@三国ちゃん/紅白閲覧 (@sankokuziten) 2013, 12月 15 三省堂国語辞典 第七版 作者: 見

    草「w」はどんなコメントに生えるか? - 唯物是真 @Scaled_Wurm
  • (後編)今回は因果関係があるのに相関関係が見られない4つのケースについてまとめてみた:中間変量の影響 - Take a Risk:林岳彦の研究メモ

    どもっす。林岳彦です。先日、某所で統計解析の講師役をしました。その際に解析環境の準備の手間を省こうと思って、Amazon EC2上にRStudioのサーバー版を立てて、聴講者にそこに繋いでもらって実習をしようとしたのですが、いざ皆が繋いだらサーバーがクラッシュしまくって実習が全く進みませんでした*1 。。。すみませんでした(泣)*2。。 さて。 良かれと思ったもので逆に墓穴を掘る、というのは人生ではよくあることですよね! 前回の「合流点の追加によるバイアス」はそんな例の一つでしたが、今回の「後編」ではそのようなもう一つの例として、「中間変量の追加によるマスク」のケースについて見ていきます。 因果関係があるのに相関が見られないケース(4):中間変量によってマスクされている はい。では、中間変量によって因果効果がマスクされてしまうケースを見ていきます。 ここで「中間変量」というのは、「A→Z」

    (後編)今回は因果関係があるのに相関関係が見られない4つのケースについてまとめてみた:中間変量の影響 - Take a Risk:林岳彦の研究メモ
  • dllをドルルと呼んでいる人の童貞率が異様に高い

    最近気づいたのだが、dllをドルルと呼んでいる人間(以後ドルル型人間)の童貞率が異様に高い。 あいつもこいつも、みな童貞である。童貞率100%である。 確かに、IT系はもともとモテないし、近年社会構造の変化もあって童貞率は上昇しているわけだが、 それにしてもドルル型人間の童貞率は異常である。 これには何か訳があるのではないかと思って色々と考えていたところ、幾つか思い当たるフシがあったので、 書き連ねてみる。 1.ドルル型人間は調べない人間である dllという文字を初めて見た時、人はまず戸惑う。「なんじゃこら、読めへんやん。」と。 そしてその後、それをどう読むのか調べるのである。これが普通の反応である。 一方ドルル型人間はどうかというと、全く調べない。勝手に自己流の呼び方で恥ずかしげもなく ドルルドルルと呼ぶのである。 女性は自分のことを良く理解してくれる男に魅力を感じる生き物なわけだが、そ

    dllをドルルと呼んでいる人の童貞率が異様に高い
    kubomi
    kubomi 2013/09/03
    童貞大学院統計学
  • "相関"の話&そのついでに"21世紀の相関(MIC)"の話(ややマニア向け) - Take a Risk:林岳彦の研究メモ

    どもです。林岳彦です。息子の3DSにバーチャルコンソールの「ソロモンの鍵」を密かに入れました(まだ3面)。 さて。 前回の記事: 因果関係がないのに相関関係があらわれる4つのケースをまとめてみたよ(質問テンプレート付き) - Take a Risk:林岳彦の研究メモ につきましては沢山ブクマ等をいただき大変ありがとうございました*1。大変感謝しております。 さて。上記記事について、ublftboさんから「相関関係の定義が書かれていないのでは」(相関と因果 - Interdisciplinary)とのご指摘をいただいたきました。 ご指摘は確かにごもっともですので、今回は「相関」概念についてと、そのついでに近年に開発された"21世紀の相関(MIC)"の話について私なりに書いてみたいと思います。 (以下、ややマニア向けの話になるかもしれません。あと前回ほどではないですが、それなりに長いです。)

    "相関"の話&そのついでに"21世紀の相関(MIC)"の話(ややマニア向け) - Take a Risk:林岳彦の研究メモ
    kubomi
    kubomi 2013/04/26
    "ピアソンの相関係数では検出できていないような非線形の場合においても、MICでは高い値を示す"
  • 景気の「今」を把握することは可能か? - Yahoo! JAPANビッグデータレポート

    Yahoo! JAPANトップページの機能を正しくご利用いただくには、下記の環境が必要です。パソコンでご利用のお客様 Windows:Internet Explorer 11.0以上 / Chrome 最新版 / Firefox 最新版 / Microsoft Edge macOS:Safari 9.0以上 ※Internet Explorer 11.0以上をご利用の場合は、 「Internet Explorerの互換表示について」を参考に、互換表示の無効化をお試しください。タブレットでご利用のお客様 iOS 9以降、または、Android4.0以降のOSに標準搭載されたブラウザー ※日国内版として発売されている端末でご利用ください。

    景気の「今」を把握することは可能か? - Yahoo! JAPANビッグデータレポート
  • 因果関係がないのに相関関係があらわれる4つのケースをまとめてみたよ(質問テンプレート付き) - Take a Risk:林岳彦の研究メモ

    どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学(様相論理)へと語る流れ(ここのスライド前半参照)になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準(ここのスライド後半参照)の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが(予告)、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には

    因果関係がないのに相関関係があらわれる4つのケースをまとめてみたよ(質問テンプレート付き) - Take a Risk:林岳彦の研究メモ
  • はてなブログ | 無料ブログを作成しよう

    我が家のダグウッド ダグウッドとはハナミズキのことである。昔、日からポトマックリバーの桜の苗木を送った返礼として、アメリカから送られて来たのが日での始まりで、アメリカ原産でアメリカヤマボウシともいうらしい。 最近では日でも、あちこちで、街路樹であったり、庭木であっ…

    はてなブログ | 無料ブログを作成しよう
    kubomi
    kubomi 2013/01/09
    統計こわい
  • 環境の世紀VIII-環境学におけるデータの不充分性と意思決定(松原望)-

    1、イントロ:研究の背景 皆さんこんにちは。私の学生時代の所属は基礎科学科の物性物理でした。しかし、社会問題の解決に貢献するために理科系の文転もいいかなと思って、統計学の勉強を始めました。スタンフォードで4年間、そして帰ってきてから世の中のためになるように、私の理科系の学問知識と、社会科学系の知識を生かしたいと考え、研究を進めてきました。その後、原子力のリスクや環境リスクについての研究を橋道夫先生から進められて始めることになりました。環境問題そのものを総合的に研究することは当に難しいので、何か1つ専門を持って取り組んでいきたいと考えています。 2、今日の主題 今日は、環境学におけるデータの不充分性と意思決定判断の問題について、講義していきたいと思います。例えば、昨日、ハンセン病に関わる国家の責任を正式に国民に謝罪しました。これは大事件であります。国民のための政策の主体である国家が謝罪し