統計学とはそもそも「無作為抽出された少量のデータ」を分析するためのものであった - 渋谷駅前で働くデータサイエンティストのブログ
しばらく前にQuoraにこんなアンサーを書いたことを思い出したので、ついでにリブログ記事として転載の上加筆修正したものを用意してみました。僕にしては珍しくコッテコテの頻度主義的な話題である上に、「p値なんか使うのはやめてしまえ」という記事を以前に書いておきながらこんな議論をするのは自己矛盾かもしれませんが（笑）、これまでの統計学の歴史を紐解くことで、温故知新ということで新たに理解されることもあるのかなと思っています。 小標本のための統計学と、「スチューデント」ことゴセットの話 補足 小標本のための統計学と、「スチューデント」ことゴセットの話 近代統計学とは、「無作為抽出によって得られた小標本を分析することで、その背後にある母集団の性質を推定する」ために改良が積み重ねられてきた営みです。すなわち、統計学は「少量のデータを扱う学問」そのものだとも言えます。 (Skbkekas - 投稿者自身に
95%信頼区間の「95%」の意味 - 渋谷駅前で働くデータサイエンティストのブログ
ふと思い立ってこんなアンケートを取ってみたのでした。 頻度主義統計学における「95%信頼区間」の95%というのは、以下のどちらだと思いますか— TJO (@TJO_datasci) 2021年7月16日 結果は物の見事に真っ二つで、95%信頼区間の「95%」を「確率」だと認識している人と、「割合」だと認識している人とが、ほぼ同数になりました。いかに信頼区間という概念が理解しにくい代物であるかが良く分かる気がします。 ということで、種明かしも兼ねて95%信頼区間の「95%」が一体何を意味するのかを適当に文献を引きながら簡単に論じてみようと思います。なお文献の選択とその引用及び解釈には万全を期しているつもりですが、肝心の僕自身が勘違いしている可能性もありますので、何かしら誤りや説明不足の点などありましたらご指摘くださると有難いです。 頻度主義において、95%信頼区間の「95%」は「割合」を指す
「誤差」「大間違い」「ウソ」を見分ける統計学 - 共立出版
観測されたデータにつきまとうバラつきは本当にただの「誤差」なのか、観測者による「大間違い」なのか、はたまた「ウソ」なのか… 統計学がデータのバラつきをいかに見分けるかをまるで推理小説かのような展開で優しく解説！ 我々が住んでいる世界は必ずしも「正しい」わけではない．統計学の基本的な考え方では、観測される値には「真実」の値だけではなく「誤差」が必ず含まれると想定されている。科学的な調査をいかに慎重に行ったとしても、常に不確かさが付きまとう。何かを測ろうとすれば小さな「誤差」に悩まされ、世界を理解しようとすれば「大間違い」に阻まれ、さらに残念なことに、「ウソ」に欺かれることもあるだろう。 ベストセラー『統計学を拓いた異才たち』（日本経済新聞出版刊）の著訳者による本書では、「誤差」「大間違い」「ウソ」にまつわる、考古学、法律、経済学、医学、心理学、社会学、聖書学、歴史学や戦時中のスパイ活動など、
階層モデルの予測分布 | 数値実験部屋
記事の内容 問題設定とモデリング 問題設定 2種類の予測 解析: 事後分布の計算 Gibbs samplerの導出 計算とプロット 解析: 予測分布の計算 予測その1 予測その2 コード データ等 Gibbs sampler 予測分布 久しぶりの更新となりました. 今回は階層モデルと予測分布に関して解説します. 問題設定とモデリング 問題設定 次のような問題を考えます. Aさんは15分間に読んだ本のページ数の記録をとっています. ただし, 読む本は観測ごとに異なるものとします. 現在, データが\(N=9\)個ほどあり, 次のような値であるとします. \[ 11, 10, 9, 8, 14, 13, 12, 13, 11 \] このデータを用いて, 予測を行いたいと思いました(ここでいう"予測"の意味については, 後ほど). 予測を行うため, 次のようなモデルを仮定しました. \begin
[Python]particlesパッケージで逐次モンテカルロ法を適用してみた（中編） - Qiita
こんにちは，株式会社Nospare・千葉大学の小林です．前回の記事ではparticleパッケージを使ったパーティクルフィルターとスムージングの実装を行いました．今回はこのパッケージを使った状態空間モデルのパラメータ推定を紹介したいと思います．状態空間モデルは観測されるデータ$Y_t, (t=0,\dots,T)$と観測されない状態変数$X_t, (t=0,\dots,T)$からなる時系列モデルです．$X_t$はマルコフ過程に従い，$Y_t$は$X_t$を所与として条件付き独立です．密度関数を$p_0^\theta(x_0)$，$X_t$の条件付き密度を$p_t^\theta(x_t|x_{t-1})$，$Y_t$の条件付き密度を$f_t^\theta(y_t|x_t)$とすると，同時密度は p^\theta_T(y_{0:T},x_{0:T})=p_0^\theta(x_0)f_t^\th
![[Python]particlesパッケージで逐次モンテカルロ法を適用してみた（中編） - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f61db8a50d4265e61172b87044159bd3918cc7a6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEcGFydGljbGVzJUUzJTgzJTkxJUUzJTgzJTgzJUUzJTgyJUIxJUUzJTgzJUJDJUUzJTgyJUI4JUUzJTgxJUE3JUU5JTgwJTkwJUU2JUFDJUExJUUzJTgzJUEyJUUzJTgzJUIzJUUzJTgzJTg2JUUzJTgyJUFCJUUzJTgzJUFCJUUzJTgzJUFEJUU2JUIzJTk1JUUzJTgyJTkyJUU5JTgxJUE5JUU3JTk0JUE4JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJUVGJUJDJTg4JUU0JUI4JUFEJUU3JUI3JUE4JUVGJUJDJTg5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1lOGNhZDExOWRhZTZlOWM3YmVjZTgwNzYxNDFlNzA2NQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBnZW5fbm9zcGFyZSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDMzN2Q1MjQ1OTY0OWIzNTA2NmUxYzg3NzI1ZTU5MGQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-Tm9zcGFyZQ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25231E2121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Ddf76db205c72fe73e4d018322aea5ac3)
1/10回で起こるバグの改修試験は何回すべきか統計学で考える
僕｢10回試行で1回発生するバグを改修した｣ 鬼｢改修の効果を、繰り返し試験をして確認しなさい｣ 僕｢10回試行して一度も現象が起きないことを確認した｣ システム開発の現場で、経験あると思います！！ しかし、上記の確認方法では、改修できていなかったとしても35％の確率で事象は発生しないため、無意味な対応でシステムをリリースしかねません。また、確率的に発生するバグなので、何回試験しようが「＜たまたま＞今回は発生しなかったのでは？」と言われかねません。 では、「発生しないことの確認」とは、いったい何回試験すればよいのでしょうか？ 本記事では、この考え方について簡単に書いていきます。
確率と統計 - 情報学への架橋 - | コロナ社
近年，社会や産業において必要とされる確率と統計の知識は高度化している。本書は情報学への架橋になるよう，確率と統計の基礎的な概念を平易に解説し，それらの概念が将来どのように変貌を遂げるかについても解説している。 第I部 確率 1. 確率空間 1.1 有限集合と可算集合の確率空間 1.2 実数上の確率空間 1.3 一般化された確率密度関数 1.4 一般の確率空間 2. 確率変数 2.1 確率変数の定義と概念 2.2 確率変数の関係 2.3 独立性 2.4 確率変数の収束 3. 平均と分散 3.1 平均と分散の定義 3.2 チェビシェフの不等式 3.3 イェンセンの不等式 4. 特性関数 4.1 特性関数の定義 4.2 特性関数とモーメント 4.3 特性関数と独立性 5. 条件つき確率とベイズの定理 5.1 同時確率と条件つき確率 5.2 ベイズの定理と逆推論 6. 中心極限定理 6.1 大数の
日本人起業家が大型M&A後に描く次のビジョン「今35歳。あと2、3周は何かにチャレンジしたい」
Treasure Dataは、2011年に芳川裕誠氏、太田一樹氏、古橋貞之氏の3名がシリコンバレーで創業したビッグデータ分析企業。2018年8月、ソフトバンクグループ傘下のコンピュータチップ設計企業ARMが、約6億ドル（約660億円）で同社を買収したニュースは記憶に新しい。Treasure Dataの元CTOで現取締役の太田一樹氏に、学生時代から創業までの経緯や、グローバルスタートアップとして成長するプロセス、ARMとのM&Aの裏側などについて聞いた。（前編：日本人CTOがシリコンバレーで25歳で起業し、660億円で買収されるまでの道のり） ※インタビューシリーズ「シリコンバレーから日本を考える」では、櫛田健児氏（スタンフォード大学ジャパン・プログラム リサーチスカラー）がシリコンバレーの企業・スペシャリストにインタビューし、日本の未来・可能性について掘り下げます。 ＜目次＞ ・一番大きな
日本人CTOがシリコンバレーで25歳で起業し、660億円で買収されるまでの道のり
大学時代に日本屈指の技術系スタートアップCTOを経験。25歳で日本から飛び出して、シリコンバレーで起業した ――まず太田さんがシリコンバレーで起業するまでの経緯を聞かせてください。 高校生の時に初めて携帯電話を買ってもらいました。その携帯がiアプリといって、Javaのプログラムが動作する端末でした。そこで近くの書店でプログラミングの本を買って、簡単なシューティングゲームを作りました。 すると、それが40万件以上ダウンロードされたんです。塾の帰りなど、隣にいる人が自分の作ったゲームをプレイしているのを見て驚きました。それが最初のコンピュータ、インターネットの原体験で、そこからプログラミングにのめり込んでいきました。 太田 一樹（Treasure Data 共同創業者 取締役） 1985年生まれ。東京大学大学院情報理工学研究科修士課程修了。学部課程在学中の2006年、自然言語処理と検索エンジン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Test Statistic
be on Twitter: "清水先生の名著の2版が届いた。分かりやすいし、これさえ理解しておけば統計学の論文を読む基礎的な体力はきちんと身につくと思う。これやったあとに例えばVan der vaartのかやると完璧なきがする。 https://t.co/v4gPcmvNNg"
Monitor Arithmetic and Sparse Metrics
Watal M. Iwasaki on Twitter: "機械学習メインのデータサイエンス講座の一部分として「統計モデリングも一応やっておく」回を担当する機会をいただき、「緑本とアヒル本を読め」で済むところを引き伸ばして薄めてお話ししました。資料を公開しているので、間違いなどあったら教え… https://t.co/XCXoDZkfML"
新版 統計学のセンス: ―デザインする視点・データを見る目― | 丹後俊郎 |本 | 通販 | Amazon
Jake Wintermute 🪵 on Twitter: "Every scientist knows this guy https://t.co/jG4kLPt8vp"
機械システムの状態監視と診断技術 | コロナ社
charm on Twitter: "TLで統計検定が話題ですが、自分は大学前期教養のときの黄色い教科書と公式テキストを電車の中で1周読んで過去問解きました。この方法で統計検定一級の統計数理・統計応用どちらも最優秀成績賞でした。 https://t.co/eNAS65nhr3"
Yuzo Maruyama on Twitter: "「中央値が標本平均±標準偏差に含まれる」件，気になって久保川先生に確認しました。歴史がありました！ １．２０１６年初頭の某シンポで竹村先生が講演。当時監訳で関わっていたPeter Flach「機械学習」で証明なしに書いてある中央値… https://t.co/BCAdSG7vNm"
Sean J. Taylor on Twitter: "Here’s my trick. https://t.co/SIRNWl6fDn https://t.co/1e3UTvtLf4"
katsu1110 on Twitter: "すごいフェアに書かれた文章なので、競プロ力が業務と反比例する的な主張にも触れられてますが、これ バークソンバイアス(Berkson's bias) という認知バイアスによって説明できます😇 仮に競プロ力と業務力が無相関だとし… https://t.co/hxVh0fUUaN"