数学カフェ 確率・統計・機械学習回 「速習 確率・統計」
The document describes various probability distributions that can arise from combining Bernoulli random variables. It shows how a binomial distribution emerges from summing Bernoulli random variables, and how Poisson, normal, chi-squared, exponential, gamma, and inverse gamma distributions can approximate the binomial as the number of Bernoulli trials increases. Code examples in R are provided to
MCMCをフルスクラッチで実装するトレーニング方法 - Qiita
はじめに 東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計を用いたデータ分析を実施する上で欠かせないマルコフ連鎖モンテカルロ法(いわゆるMCMC)をフルスクラッチで実装するためのトレーニング方法と，そのための参考書について紹介いたします． 最近ではstanのように，モデルと事前分布を記述するだけで汎用的にMCMCが実行できてしまう環境が整っていますが， そもそもMCMCがどういう流れで動いているのか理解する stanなどの汎用ツールがうまく使えない(orうまく動かない)場面に遭遇したときに自分の手で実装できるようにする ためには，標準的なモデルでMCMCをフルスクラッチで実際に組んだ経験が重要になってくると思います． 参考書について トレーニングのために私がオススメするのは以下の本です． J. Chan, G. Koop, D. J. Poirier, J. L. Tobia
『データ分析のための統計学入門』PDFが無料公開 データサイエンティストたちが執筆 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Python言語による実務で使える100+の最適化問題 | opt100
指針 厳密解法に対しては、解ける問題例の規模の指針を与える。数理最適化ソルバーを使う場合には、Gurobi かmypulpを用い、それぞれの限界を調べる。動的最適化の場合には、メモリの限界について調べる。 近似解法に対しては、近似誤差の指針を与える。 複数の定式化を示し、どの定式化が実務的に良いかの指針を示す。 出来るだけベンチマーク問題例を用いる。OR-Libraryなどから問題例をダウンロードし、ディレクトリごとに保管しておく。 解説ビデオもYoutubeで公開する． 主要な問題に対してはアプリを作ってデモをする． 以下，デモビデオ： 注意 基本的には，コードも公開するが， github自体はプライベート そのうち本にするかもしれない（予約はしているが， 保証はない）． プロジェクトに参加したい人は，以下の技量が必要（github, nbdev, poetry, gurobi); ペー
統計初心者が統計モデリング力を鍛えるための勉強法 - Qiita
以前、『結局、統計モデリングとは何なのか』という記事を書きました。 この記事は、その名の通り、「そもそも」何が統計モデリングで、何が統計モデリングではないのかということを扱った記事です。 今回は、「統計モデリングとは何か」を理解した方に向けて、実際に「統計モデリング力」を鍛えるためにはどうするかを書いていきたいと思います。 この記事の目的と対象者 上記でも述べたようにこの記事の目的は、どのように「統計モデリング力」を鍛えるかを書くことです。 統計学に入門するところから、高度な統計モデルを扱えるようになるまでの勉強法について書いています。 したがって、統計初心者からそれなりに理解している人までの幅広い層が想定読者となります。 ところどころで、プログラム言語で実際に手を動かしながら学ぶタイプの本を紹介することもありますので、そういった本を読むためにはPythonまたはRの知識が必要になります。
大塚淳『統計学を哲学する』について - mercbeinpのブログ
この記事は、大塚淳『統計学を哲学する』（2020年、名古屋大学出版会）についての記事である。特に、哲学の観点から、本書における認識論への言及について論じる。 先に自己紹介をしておこう。私は数年前に大学院の修士課程を修了し、それ以降は特に哲学とは関係のない仕事をしている。大学では、学部・院を通して分析的認識論を勉強・研究していた。伝統的・非形式的な認識論のほうが詳しいと思っているが、形式認識論（特に確率を用いるベイズ認識論）についても関心を持っていて、博士課程に進んでいたらベイズ認識論を中心にした研究を行おうとも思っていた。数年前の記事になるが、私がどのようなトピックを学んでいたかは、現代の分析的認識論を紹介したこのブログ記事を読むとより把握できると思う。 踏まえて、以下の文章は主に哲学の視点からみたものになり、記述の大半は哲学的認識論に割かれている。帰納推論や因果推論などのトピックについて
データサイエンティスト生活でお世話になった本｜武田邦敬｜Kunihiro TAKEDA
みなさんこんにちは。くにです。 データ分析の世界に足を踏み入れてから9年が過ぎました。 分析実務未経験でキャリアチェンジできたのは幸運としか言えませんが、ある意味無知だったからこそ無謀な挑戦ができたのかもしれません。この挑戦の泥臭い記録は、この記事に書きました。 ポジションは変われど、データを扱う仕事をまだ続けています。 私は実務で手を動かしつつ、不格好に失敗しながら学んできました。わからないことにぶつかるたびに本を買い、その本でわからないことがあればまた本屋に行き、自分が少しでも理解できそうな本を探して買いました。そして、気になる参考文献があれば、それも買って読んでみる…。 こんな生活を続けているうちに、部屋が本だらけになってしまいました。 正直に言って読み切ったという実感のある本はありません。しかし、実務で何かしらお世話になった本は数多くあり、そういう本は手放さずに手元に置いています。
志村けんのパラドックス - アスペ日記
みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在１７１人。東京から無作為に２００人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う？ 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。— 森岡正博 (@Sukuitohananika) 2020年3月25日 このツイートと、 森岡正博 on Twitter: "みんな冷静に計算してほしいけど、東京都の新コロナ感染者数は現在１７１人。東京から無作為に２００人をピックアップしたときに、その中に超有名人の志村けん氏が入ってる確率ってどのくらいだと思う？ 現在の感染拡大ペースは我々の想像をはるかに超えてるよ。桁違いの感染者数になってるよ。" ブコメがひどい。水曜日のダウンタウンとやらによれば志村けんは日本の知名度ランキング15位。そんな人が感染してるなら、実際
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
貧乏な人が豚肉と麺をたくさん食べるワケ "おなかを満たす"食事に偏っている
現代人は日頃どんなものを食べているのか。厚生労働省の「国民健康・栄養調査」を調べた統計データ分析家の本川裕氏は、「とりわけ『食料に困っている者』は全体平均に比べ、米や小麦などの穀物や豚肉を多く食べていることがわかった」という――。 連載をはじめるにあたって 今回からスタートする本連載では、日々、公表される統計データの中から、かなり興味深い内容であるにもかかわらず見逃されてしまっているものを主に取り上げ、読者の好奇心や日頃の関心に応えようと考えている。 例えば、一般に考えられている常識や価値観とは異なる方向の動きを統計データが示していたり、政府やメディアが自分たちの主張に沿うかたちで取り上げている統計データが、実は、それとは異なる内容を持っていたりする。「統計探偵」を自負する筆者が、そんな「意外な事実」を紹介していきたい。 また、データの信ぴょう性の根拠、あるいは間違った読解につながりやすい
東京新聞:「統計委員長 国会に協力しない」 総務省、無断で文書作成:政治(TOKYO Web)
総務省統計委員会の西村清彦委員長が多忙を理由に国会審議に協力しない意向を示したとする文書を、総務省職員が西村氏に無断で作成し、野党に示していたことが二十五日、明らかになった。西村氏は不快感を示し、石田真敏総務相は衆院予算委員会で陳謝した。 文書は総務省が二十二日に衆院総務委の野党理事らに配布した。西村氏本人の弁として「統計委員長は非常勤の時間給のアルバイト公務員でしかなく、私は本務として研究教育、企業関連の取締役や顧問の仕事を抱えている」と説明。「これ以上、本務に支障をきたす形では協力できない」と国会審議への出席に応じない考えを示した。署名や日時は記していない。 これに対し、西村氏は二十五日、総務省を通じて野党側に書面で「そのような『文書』を提出するように指示したことはない。極めて遺憾だ」と伝えた。国会審議については「重要性は強く認識している。研究教育等の本務に支障のない限りにおいて、国会
データ改ざんに甘い社会で統計の信頼性を云々することの無意味さについて - remcat: 研究資料集
毎月勤労統計調査のサンプルが不正に減らされていた問題について、『wezzy』 に記事を書きました： 「毎月勤労統計調査」は90年代以前から改ざんされていた?: データ改ざんに甘い社会 田中重人 (2019-02-07) https://wezz-y.com/archives/63479 記事の基本的な観点は、リード文に書いてある通り： この事件の別の側面として、対象事業所数や誤差率など、調査精度をあらわす数値の偽装という問題があります。この観点からみたときに何が見えてくるのか、これまでにわかっている情報から整理してみました。 https://wezz-y.com/archives/63479 とりあげている具体的な問題は、大きくつぎの3つにわかれます。 1990年代以前からの調査対象削減 2002年以降の抽出率データ改ざん 2004年以降の誤差率データ改ざん このなかでいちばん規模が大きい
当社データサイエンティストがこよなく愛している『mコマンド』で数億行を高速集計する話 - ハウテレビジョンブログ
どうも。 1月に入社したばかりの、データ分析担当のn_maoです。 と言いながら、最近はHTMLとjsばかりいじっております。 それはそれで楽しいです。 さて今回はデータ分析のざっくりとした仕事内容と、その分析にかかる手間を省くツールをご紹介します。 データ分析の仕事 まずは私の行っているデータ分析という仕事の内容をご紹介します。 私の主な仕事は大きく分けて４つです。 売上げ、会員登録数などの簡単な集計&自動レポーティング データベースからの知識発見（いわゆるデータ分析） 分析結果をもとにした企画立案 実施された企画の効果検証 あくまで私個人の仕事内容であり、データ分析者全員に当てはまるわけではありません。 アルゴリズムの研究開発の方や、インフラ寄りの方もいらっしゃるでしょう。 ですが、同じ職種の方で業務範囲が被っている方も少なからずいらっしゃると思います。 これら４つの業務の中で一番時間
社会人なら知っておきたい無料の公的統計データ「e-Stat」と「統計メールニュース」 | 初代編集長ブログ―安田英久
今日は、マーケティングや企画に携わる社会人なら知っておきたい、というよりは、知らないと恥ずかしい、無料で利用できる公的統計データのポータルサイト「e-Stat」の情報と、新しい統計データが自動的に飛んでくる「統計メールニュース」の情報をお届けします。 すでに6月も下旬。新入社員の方も配属部署が決まってバリバリ働いていることだと思います。 マーケティングや企画の仕事をする人にとって、調査データというのは大切なもの。 ネット上で発表される「○○のサービスのユーザー数が○○万人」なんて調査データ、みんな好きですよね。Googleトレンドのような検索ボリュームの情報や、どのブラウザがどれぐらい使われているかといった調査データも人気です。 どれも無料で入手できるデータですが、実は税金でちゃんとした手法でつくられている、質の高い調査データというのが、あるのです。 それが、政府の出している統計データ。
とっつきにくいけど実はエクセル以上に賢いヤツ フリー統計解析ソフトウェア「R」を触ってみよう【R入門講座】
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
実践！ Rで学ぶ統計解析の基礎 － ＠IT
Rは統計解析のブッシュナイフだ 実践！ Rで学ぶ統計解析の基礎（1） オープンソースの統計処理言語・環境の「R」を使って実践的な統計解析のテクニックとリテラシーを習得しよう！
世界の経済的不平等について知っておくべき10のこと - himaginary’s diary
をKathleen Geierというシカゴ在住のライターが自ブログで挙げている（H/T Economist's View）。 世界経済の不平等を計測するのは非常に困難 各国が実施する国別の調査はあるが、世界規模の統一的な所得に関する家計調査は存在しない。 国別調査は質や質問や手法が標準化されていない。さらに以下の問題がある： 何が所得かという問題。例： 自作農の所得をどう記録するか 医療保険（ある国では無料の皆保険、ある国では被雇用者の民間給付パッケージ）を所得として扱うかどうか 人々は得てして所得を正確に記憶していない。 所得形態が定期的に支払われる賃金でなければ無理からぬこと 富裕層も貧困層も正しい値が得られない傾向がある。 多くの調査では開示所得に上限制約を掛けるため（topcoding*1）、富裕層の所得を過小評価する 異なる国の家計調査をつき合わせる際の通貨換算の問題。 経済的不
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
じゅじゅ on Twitter: "プログラミング、データサイエンス・統計学関連はネット上にで超優良なテキストが"無料"で公開されており、本当に良い時代。。 本ツイートに各テキストへのリンクもぶらさげておきます。 https://t.co/zSLyLEyQSL"
「現在の生活に満足」と過去最高の74.7％が答えた内閣府世論調査、なぜか回答者の8割も「持ち家あり」だった | Buzzap！
