機械学習にとって大切なことは全部MSE(平均二乗誤差)が教えてくれた - Qiita
概要 機械学習の回帰問題において評価関数としてよく出てくる MSE(mean squared error,平均二乗誤差) とは一体何なのか。 山登りのように、ふもとから一歩ずつふみしめながら理解をすすめていく記録となります。 （必要な数式の導出過程も省略せず記録しました） とうことで、さっそく山登り開始します 1合目：母集団・母平均 登り始める前に、準備運動。統計用語をおさらい 「日本人成人男性の平均身長調査」 を題材に、考えてみる。 選挙年齢が引き下げられたので 成人＝18歳以上 とすると 日本人のうち 成人 に該当するのは 約1億人。 そのうち男性が約半数なので、日本人成人男性は5000万人程度と考える。 母集団（ぼしゅうだん、population） 母集団とは、調査対象となる数値、属性等の源泉となる集合全体 平均身長調査で考えると、母集団とは対象者全員ということになる。 つまり母集団
調査観測データの統計科学（二重にロバストな推定/操作変数法） - Qiita
岩波書店の確率と情報の科学シリーズの星野崇宏 著「調査観測データの統計科学」を読んでいき、まとめていってます。 (と言っても、前回からは何ヶ月も経ってますが...) 今回は、前回の続きで第3章「セミパラメトリック解析」で「二重にロバストな推定量」と「操作変数法」についてです。 傾向スコアに用いた推定では主に二つの改善点が指摘されています。 1. 傾向スコア推定の際には、z=0のグループの共変量の情報を利用していうるが、結果変量の周辺分布の母数推定の際にはz=0のグループの共変量の情報を利用していない。 2. 傾向スコアを計算する際の「割り当て$z$と共変量$x$のモデル」が正しくない場合には、傾向スコアを用いた解析法は間違った結果を与える可能性がある。 この点を解消するために共変量で結果変量を説明する回帰関数を推定方程式に加えることにより、２点は解消できます。 この推定方程式による推定量が
統計検定®︎準１級は実務で役に立つのか？
タイトルの結論は、「役に立つ」です。 役に立つか立たないかの議論は一切せず、本記事では、如何に統計や数学が実社会で役に立つかを紹介します。 はじめに こんにちは。ZENKIGENデータサイエンスチーム所属の廣田です。原籍はオムロンソーシアルソリューションズ株式会社 技術創造センタですが、社外出向でZENKIGENに所属しており、数理最適化や機械学習を用いたデータの分析業務、それらの結果に基づいた顧客への提案をしております[1]。 出向先であるZENKIGENの同僚にも、原籍のオムロンの同僚にも、統計検定®の準1級や1級を持っている方がいて、私も負けじと準1級を受験しました。結果、統計検定®準1級に合格し、優秀成績賞までいただくことができました。 統計検定®合格証と優秀成績賞 試験対策を通じて、改めて統計学の考え方は有用と感じました。この手の検定試験は物事を体系的に学ぶきっかけになるため、私
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
はじめての「相関と因果とエビデンス」入門：“動機づけられた推論” に抗うために
人文系大学生〜学部卒の方々を念頭に置いた講演でのスライドです。Enjoy！ ＊書籍：林岳彦著『はじめての統計的因果推論』（岩波書店）の情報はこちら→ https://www.iwanami.co.jp/book/b639904.html
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
ベイズ統計学を勉強する参考書のフロー - Qiita
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
統計学とは何か、そしてベイズ統計学の話 - hidekatsu-izuno 日々の記録
細々と統計学を調べ続けているが、最近ようやく統計学というものが何なのか、おぼろげながらわかるようになってきた（なお、統計学ができるようになってきたわけではない） 統計学を知る前の自分と今の自分をくらべたとき、間違いなく違うのは統計学に対する信頼だろう。以前は、統計学は数学の一分野であり、正しい分析手法を使えば真の答えが得られるものだと思っていた。しかし、実際には統計学者ジョージ・ボックスが言ったとされる「すべての（統計）モデルは間違っている、だが中には役立つものもある）」という言葉の方が実態に近い。 統計学は基本的に「不可能なことを可能にする（不良設定問題を扱う）」学問だ。例えば、1、3、5 という数字の列から何が言えるだろうか。確実なことは3つの実数値が観測された、ということだけで、それ以上のことは想像するしかない。奇数列かもしれないし、乱数から３つの値を取得した際に偶然それっぽい数字が
Nelson rules - Wikipedia
Nelson rules are a method in process control of determining whether some measured variable is out of control (unpredictable versus consistent). Rules for detecting "out-of-control" or non-random conditions were first postulated by Walter A. Shewhart[1] in the 1920s. The Nelson rules were first published in the October 1984 issue of the Journal of Quality Technology in an article by Lloyd S Nelson.
科学としての歴史 | Nature ダイジェスト | Nature Portfolio
過去の出来事を科学的に分析することで、未来を予想できるとする「歴史動態学」が登場した。既存の歴史学者は懐疑的だが、このアプローチは興味深い。 SOURCE：REF．1 「歴史は繰り返す」という格言は、時に真実であるように思われる。例えば米国では、1861～65年の南北戦争後に民族間・階級間の反目による暴力事件が都市部で急増し、それが全米に広がって、1870年頃にピークに達した。国内騒乱が次に増加したのは1920年頃で、人種的反感による暴動、労働者のストライキ、反共感情の高まりなどにより、多くの人が近いうちに革命が起こるかもしれないと思った。米国社会は1970年頃にも不穏な状態に陥り、激しい学生デモ、政治的暗殺、暴動、テロが頻発した（『暴力の周期』参照）。 コネチカット大学（米国ストーズ）で個体群動態学の研究をしているPeter Turchinは、米国の政情の不安定さがピークに達した3つの時
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
環境と品質のためのデータサイエンス
AIcia Solid Project - Official Website -.pdf)
データ分析のための統計学入門.pdf