数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
統計・機械学習の理論を学ぶ手順 - Qiita
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
Kullback-Leibler
1 Kullback-Leibler Sanov 2016 6 16 ∗ http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf : http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler/ Ver.0.1 10 . 0 3 1 Kullback-Leibler 4 1.1 qi . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.2 . . . . . . . . . . . 6 1.3 Kullback-Leibler . . . . . . . . . . . . . . 6 1.4 Kullback-Leibler . . . . . . . . . . . .
使える統計モデル10選（後編） | AIdrops
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
ベイズ統計学の概論的紹介
ベイズ統計学の基礎概念からW理論まで概論的に紹介するスライドです．数理・計算科学チュートリアル実践のチュートリアル資料です．引用しているipynbは * http://nhayashi.main.jp/codes/BayesStatAbstIntro.zip * https://github.com/chijan-nh/BayesStatAbstIntro を参照ください． 以下，エラッタ． * 52 of 80：KL(q||p)≠KL(q||p)ではなくKL(q||p)≠KL(p||q). * 67 of 80：2ν=E[V_n]ではなくE[V_n] → 2ν (n→∞). * 70 of 80：AICの第2項は d/2n ではなく d/n. * 76 of 80：βH(w)ではなくβ log P(X^n|w) + log φ(w). - レプリカ交換MCと異なり、逆温度を尤度にのみ乗す
【note版】統計学の教科書から起業マニュアルまで、すごい「無料」コンテンツ集めました｜とくさん｜MYCOPING
ネットには「無料」で貴重な情報がたくさんある。統計学の教科書から、戦略コンサルによる「変革」の指南書まで、様々なコンテンツをまとめてみた。 ◆OpenIntoro - 統計学の教科書https://www.openintro.org/stat/textbook.php?stat_book=os 436ページの統計学の教科書が無償ダウンロード(PDF)可能。Openintroという米大学の教員などが「オープンソース」の試みとしてまとめた仕事で素晴らしい。編者の一人のミシガン大の教員によるCourseraの講座もある。 PDFファイルはこちら ◆BCG - 「企業変革」の手引きhttps://www.bcg.com/publications/collections/transformation-breakthrough-performance.aspx 戦略コンサルのBCGによる「変革」の指南
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策：もう失敗しない！製造業向け機械学習Tips（1）（1/2 ページ） 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第1回では「リーケージ」について取り上げる。 ⇒連載「もう失敗しない！製造業向け機械学習Tips」バックナンバー 筆者はデータサイエンティストとして、機械学習自動化プラットフォーム「DataRobot」の導入サポートをさまざまな製造業のクライアントに提供してきました。本連載では、その経験に基づいてお話させていただきます。 機械学習が使われる製造業特有の分野は、物性予測、工程管理、予防保全、故障予測、要因分析など多岐にわたります。しかし筆者は、それらの多くで同様のミスが繰り返されていることに気が付きました。これらの間違うポイント
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
ナメクジの出現を予測する！- 市民科学と最新統計の融合
外来種問題は突然に 2014年7月某日、札幌市の円山原始林で私が出会ったのは、体長15cmもの巨大な豹柄のナメクジ、マダラコウラナメクジでした。私はそれを知っていました。過去に一度だけ、ドイツ・ドレスデンの森の中で見たことがあったからです。北欧原産のナメクジがどうしてここに？ 慣れ親しんだ円山の森に現れた、不似合いな新参者との突然の出会いに、目眩がしました。私の知る北海道の生態系は、これからいったいどうなってしまうのか？ 我々ヒトの生活への影響は？ 体長15 cmほどのマダラコウラナメクジ 市民のブログが教えてくれた 予期せぬ出会いに衝撃を受けた私は、研究室に戻るや否や、飛びつくように現状を調べ始めました。わかったことは、マダラコウラナメクジが2006年に茨城県で最初に侵入・定着が確認されたということ、さらに2010年には福島県、2012年には長野県にも侵入し勢力を拡大しているということで
データから因果関係をどう導く？：統計的因果推論の基本、「反事実モデル」をゼロから - Unboundedly
データに基づく因果推論がどのように行われるのか、詳しく説明していきます。因果の定義、因果推論に必要な条件、RCTの意義などいろいろまとめていたら、例のごとくすごいボリュームになってしまいました。なお、本記事で使われる用語は、「疫学」の因果推論で使われているものが基本です。同じコンセプトでも分野によって呼び方が違うので、その点はご了承ください。 まずは「因果効果」の定義から データから因果効果を求めるための前提条件 前提①：(Mean) Exchangeability 定義 交絡との関係性 ランダム化という魔法 観察データでの因果推論を可能にするConditional Exchangeability 前提②：Consistency 前提③：Positivity 前提条件のもと、データから平均因果効果を導く Exchangeabilityが成立しているとき（例：ランダム化比較試験） Condi
統計推理。どう計算したのだろう。比率の信頼区間 - r-statistics-fanの日記
どう計算したのだろう。比率の信頼区間 日経メディカルで、コデインの小児への処方が制限されたと言う記事を見た。 PDMA(医薬品医療機器総合機構）が運営するMID－NETというデータベースを利用した解析結果が参考にされたらしい。 http://www.jpa-web.org/dcms_media/other/%E3%82%B3%E3%83%87%E3%82%A4%E3%83%B3%20%E8%A8%98%E8%80%85%E6%87%87%E8%B3%87%E6%96%99.pdf このｐｄｆが元資料と思われた。 MID-NET（2009年～2015年） ↓ 対象期間中に協力医療機関を受診（976,859人） ↓ コデイン含有製剤が処方された患者（癌の診断をもつ患者を除く）（7,267人） ↓ 12歳未満209人 12-18才未満199人 19才以上6859人 コホート全体：ケース24人 対
MCMCサンプルの使い方 ～見る・決める・探す・発生させる～
広島ベイズ塾夏合宿で発表したStanコードの書き方中級編です。 回帰分析から，一般化線形モデル，欠損値のあるモデル，潜在変数があるモデル，ゼロ過剰分布，混合分布モデルを扱いました。
サヨナラ検定、グッバイ統計的有意性／統計を使うつもりなら必読の論文はこれ
Author:くるぶし（読書猿） twitter:@kurubushi_rm カテゴリ別記事一覧 新しい本が出ました。 読書猿『独学大全』ダイヤモンド社 2020/9/29書籍版刊行、電子書籍10/21配信。 ISBN-13 : 978-4478108536 2021/06/02 11刷決定 累計200,000部（紙＋電子） 2022/10/26 １４刷決定 累計260,000部（紙＋電子） 紀伊國屋じんぶん大賞2021 第３位 アンダー29.5人文書大賞2021 新刊部門 第１位 第２の著作です。 2017/11/20刊行、４刷まで来ました。 読書猿 (著) 『問題解決大全』 ISBN:978-4894517806 2017/12/18 電書出ました。 Kindle版・楽天Kobo版・iBooks版 韓国語版 『문제해결 대전』、繁体字版『線性VS環狀思考』も出ています。 こちらは１０刷
Edward – Home
A library for probabilistic modeling, inference, and criticism. Edward is a Python library for probabilistic modeling, inference, and criticism. It is a testbed for fast experimentation and research with probabilistic models, ranging from classical hierarchical models on small data sets to complex deep probabilistic models on large data sets. Edward fuses three fields: Bayesian statistics and mach
情報量規準LOOCVとWAICの比較 - StatModeling Memorandum
この記事はStan Advent Calendar 2016およびR Advent Calendar 2016の12月7日の記事です。StanコードとRコードは記事の最後にあります。 背景は以下です。 [1] Aki Vehtari, Andrew Gelman, Jonah Gabry (2015). Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC. arXiv:1507.04544. (url) [2] 渡辺澄夫. 広く使える情報量規準(WAIC)の続き （注４）【WAICとクロスバリデーションの違いについて】 (url) [3] Sumio Watanabe. Comparison of PSIS Cross Validation with WAIC. (url) le
PowerPoint プレゼンテーション ベイズ推論 東京工業大学 渡辺澄夫 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日 北海道大学
ベイズ推論 東京工業大学 渡辺澄夫 2016/9/15 1 電子情報通信学会ソサイエティ大会 AI-2 データ科学とコンピュータ科学の基礎理論と展開 2016年9月20日北海道大学 この講演の目的 2 2 統計的推論が命題論理の推論と異なる点を説明し、 ベイズ推論において解明されていることの概略を述べる。 もくじ 3 3 １．統計的推論は命題論理の推論と何が違うのか ２．統計的推論では何を知りたいのか ３．予測誤差と交差検証誤差 ４．総和誤差と自由エネルギー 4 4 １．統計的推論は命題論理の推論と何が本質的に違うのか なぜ人間は「正しい統計的推論」を求めたのか 5 数学や物理学では一定の水準の厳密さにおいて 「正しい推論」というものが存在している。 → 正しいモデルで正しく推論すれば正しい結論が得られる。 → 間違った結論は間違ったモデルか推論から生まれる。 （例） 連続関数の列が一様収
日本の行政機関等が公開しているAPIについてのまとめ（2016年8月17日暫定版。随時更新） - Qiita
この記事は下記のURLにあるコミックマーケット90で頒布した同人誌と自分が管理するブログの記事を微修正し、転載したものです。 南関東開発機構 : 同人誌「日本の行政機関が公開中のAPIについて調べてみた本」を公開しました http://blog.livedoor.jp/south_kanto_dm/archives/52143201.html 南関東開発機構 : 日本の行政機関が公開中のAPIについてのまとめ（2016年8月17日暫定版） http://blog.livedoor.jp/south_kanto_dm/archives/52143463.html 前書き この記事の目的は、日本の行政機関等が公開しているAPIを紹介する事です。 日本の情報技術は他国と比較して、立ち遅れている部分があり、これを立て直すのが喫緊の課題であると言えます。 日本政府もこの問題に危機意識を持ち、先日、経
階層モデルの分散パラメータの事前分布について発表しました - ほくそ笑む
ひと月ほど前になりますが、基礎からのベイズ統計学入門 輪読会で発表させて頂きました。 タイトルは「階層モデルの分散パラメータの事前分布について」で、Andrew Gelman の論文 Prior distributions for variance parameters in hierarchical models (PDFリンク) の内容をまとめたものです。 ベイズ統計において、パラメータの事前分布に何を使うかというのは重要な問題です。 分散パラメータの事前分布には伝統的に逆ガンマ分布が使われますが、この論文によると半コーシー分布を使いましょうとのことです。 発表資料は SlideShare に上げています。 階層モデルの分散パラメータの事前分布について from hoxo_m ベイズ統計に興味のある方は、5/19 に 基礎からのベイズ統計学入門 輪読会 #5 最終回 が行われますので参
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
えるエル on Twitter: "東大が無償でPDF公開している，統計学会の75周年記念出版『21世紀の統計科学』の3冊 1と2は実際の統計データを用いて，各事例への統計学の応用手法，3は機械学習の人なら馴染み深い統計計算を解説 下手な市販の本を買うよりは，この3… https://t.co/w2cSVIxmUI"
