統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
「Steamユーザーは、どんなゲームならレビューしやすいのか」。安いほどレビュー少ない・“布教”したいとレビュー多いなど傾向いろいろ調査報告 - AUTOMATON
ホーム ニュース 「Steamユーザーは、どんなゲームならレビューしやすいのか」。安いほどレビュー少ない・“布教”したいとレビュー多いなど傾向いろいろ調査報告 あるマーケティング調査サイトが公開した「Steamのゲーム購入者がユーザーレビューを投稿する割合」に関するグラフが注目されている。グラフからは、購入者がユーザーレビューを投じやすくなる、または投じにくくなるさまざまな条件が垣間見える。海外マーケティング調査機関GameDiscoverCoが伝えている。 今回GameDiscoverCoのSimon Carless氏は、Strahinja Milenovic氏によるマーケティング調査サイトGamalyticが公開した記事を紹介している。Carless氏は今回のStrahinja氏の記事を、Steam内のデータを深く掘り下げた素晴らしい調査であると称賛。グラフを引用しながら、Strahi
『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい
統計的因果推論の勉強会@2022
高橋将宜（2022）「統計的因果推論の理論と実装」共立出版. を読んで統計的因果推論について勉強する会の資料です。
基幹統計の不適切処理 最大で年間5兆円程度 過大に計上と試算 | NHK
国土交通省が国の統計の中でも特に重要な「基幹統計」をめぐってデータを二重に計上するなど不適切に処理していた問題で、外部の有識者会議が、統計のデータが最大で年間5兆円程度過大に計上されていたという試算をまとめたことがわかりました。 国の基幹統計の1つで建設業の毎月の受注動向を示す「建設工事受注動態統計」をめぐって、国土交通省は事業者から送られたデータを二重に計上するなど不適切な処理を続けていたことが明らかになっています。 この問題についてデータの復元方法などを検討している外部の有識者会議が、不適切な処理によって統計のデータが年間で最大5兆円程度過大に計上されていたという試算をまとめたことが関係者への取材でわかりました。 過去の調査票はすでに廃棄されたものもあることから、有識者会議は、残っている2020年度の調査票を元に過去のデータを試算し、率にして最大で6.6％程度受注額が過大になっていたと
ついにコーヒーフレッシュの裏側の数字の意味を突き止めた
昼はデータサイエンティストをしています。トイレと路上観察と観葉植物が好き。行動力があるとよく言わますが自覚はまったくないです。和菓子が全部苦手なのでお土産がいつも食べられないです。 前の記事：ホロホロチョウよ、頼むから彼女との思い出を忘れさせてくれ コーヒーフレッシュの裏には数字がある まず初めに具体例を見てみよう。 例えばマクドナルドのコーヒーフレッシュにも数字が記されているのだ。 朝食を食べた後にこの写真を撮りに行こうとひらめいてしまったので、食事終了の10分後に朝マックを食べたことになる。とぼしい計画性とたくましい食欲の持ち主だね。 この数字の謎を解き明かすには、とにもかくにも情報が必要だ。実際に調べなきゃわからないことがあるのだ。 地域のスーパーを駆け回り、ネットショッピングサイトで探し回って、コーヒーフレッシュを買い漁ろう！ ということで合計20種類を入手、凄い数。あって５種類か
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
Komiflo on Twitter: "【国内人気エロマンガ統計】エロマンガ読み放題サービスKomifloの集めたデータを基に、2019年の都道府県別人気ジャンルを発表しちゃいます！あなたの住む街ではどんな作品が人気でしょう？https://t.co/bcWLqFkfYl https://t.co/XYYlHeIxwL"
【国内人気エロマンガ統計】エロマンガ読み放題サービスKomifloの集めたデータを基に、2019年の都道府県別人気ジャンルを発表しちゃいます！あなたの住む街ではどんな作品が人気でしょう？https://t.co/bcWLqFkfYl https://t.co/XYYlHeIxwL
Pythonではじめての統計～基本情報の確認から検定まで (1/2)：CodeZine（コードジン）
本稿ではプログラミングの基本は理解しているがより実践的なデータ解析に取り組みたい方を対象に、スクリプト言語によるデータ解析の実践を解説します。スクリプト言語の中でも特にデータ解析に役立つライブラリや環境が整っているPythonをとりあげ、対話型解析ツールやライブラリについて導入から解析の実行・可視化までを解説します。本稿ではPythonによる統計データ解析を解説します。まず統計の概観について確認し、Jupyter Notebookを使った基本統計量の確認・相関・検定の手順を解説します。 対象読者 Pythonの基本的な文法を理解しておりデータ解析のスキルアップに取り組みたい方 サンプルの動作確認環境 MacOS 10.13 Anaconda 5.1 Python 3.6 Jupyter Notebook 5.4 統計の概要 この章では実際にPythonでの統計処理に入る前に、統計自体につい
人口、労働、賃金、社会保障などについての統計データをどう調べればよいか？｜野口悠紀雄
◆人口 ・人口の長期時系列データ 人口というのは最も基本的な統計データだが、検索エンジンで「人口」と検索しても、どこを見たらよいか分からないだろう。 e-Statには人口の統計があるらしいと分かるが、長期の人口統計がどこにあるか、分からない。探し出しても、いくつかの期間に分かれていて、使いにくい。 私が探した限りでは、『日本統計年鑑』にあるこのデータ集が最も使いやすい。ただし、昔は長期に連続した表だったが、いまでは1920年で２つの表に分かれてしまっていて、やや使いにくくなった。 ・人口統計資料集 国立社会保障・人口問題研究所による統計資料集。 江戸時代の人口や世界の人口についての資料も、「Ⅰ．人口および人口増加」率の中にある。 ・将来人口推計 https://www.ipss.go.jp/pp-zenkoku/j/zenkoku2023/db_zenkoku2023/db_r5_suik
確率で有罪立証しようとした検察官の誤謬
コリンズ訴訟と言われている米国で有名な判決がありました。事件の内容は次のとおりです。 1964年6月18日の正午少し前、ロサンゼルスのサンペドロ地区で年配の女性がハンドバッグを奪われた。 目を上げた彼女は、自分のハンドバッグを持った金髪をポニーテールにした若い女が走り去るのを見た。通りの端にいたジョン・バスという人物は、悲鳴と叫び声を聞きつけて通りを見ると、女が駆け出してきて通りの向かいの黄色い車に乗り込んだ。 向きを変えて走ってきた車は、彼から2メートルも離れていないところを走り去った。車を運転していた男性は顎髭と口ひげを生やした黒人だった。なお、若い女は身長150センチ強の白人で、深い色の金髪をポニーテールにしていた。 このような目撃情報によって逮捕されたのがコリンズという黒人男性でした。 検察官は極めてユニークな方法でコリンズを有罪にしようとしました。 信頼できる数学者を集めて、次の
ベルヌーイ分布の分かりやすいまとめ ｜AVILEN
ベルヌーイ分布とはベルヌーイ分布とは、「成功か失敗か」「表か裏か」「勝ちか負けか」のように２種類のみの結果しか得られないような試行（ベルヌーイ試行）の結果を0と1で表した分布を指します。 1である確率がpppであるとき、0である確率は1−p1-p1−pとなる、非常にシンプルな確率分布です。 ベルヌーイ分布の公式ベルヌーイ分布にまつわる公式を確認しておきましょう。
第一回 チキチキQiita戦闘力ランキング選手権 - Qiita
QiitaでのContribution数と記事数だけでなく、はてブ数も加味している。 ユーザ数 用意したDataFrameの行数を出力して、全ユーザ数、投稿したことのあるユーザ数、Contributionしたことのあるユーザ数、はてなブックマークでブックマークされたことのあるユーザ数を算出してみる。 df.index.size # 全ユーザ df.query( 'articles_count > 0' ).index.size # 投稿ユーザ df.query( 'contribution > 0' ).index.size # Contributionユーザ df.query( 'hatena_count > 0' ).index.size # はてブられユーザ
機械学習で因果関係を予測する~どの薬がこの疾患に効果があるか - 株式会社 NAM
こんにちわ、株式会社NAMの中野哲平です。 医師が最も関心があるのは「この疾患を治すにはどの治療法がベストか」という問です。患者にとっては、「この薬を飲めば、病気が治るのか」は最大の関心事です。 いわゆる「医療と人工知能」の研究で、「この眼の画像はなんの病気か？」という問題は殆ど研究分野としては落ち着いてきています。一方で今日考える「この患者にこの薬を投与するとどうなるか？」という因果推論が最もホットトピックです。 今回は機械学習でこの問にどのようにアプローチするのかを考えてみます。 物事をもう少し一般的に考えてみると、この課題は「機械学習を用いてデータ間の因果関係を把握できるか」という問に言い換えられます。先程の場合だと、疾患というデータに対して、ある治療を行った結果、疾患が治るのか治らないのかを機械学習を使って予測したいということです。 因果関係と相関関係 機械学習で因果関係を予測する
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【新卒研修資料】基礎統計学 / Basic of statistics
TomoCode 📈PythonでAI/データサイエンス🤖 on Twitter: "もうお金払わせて。。。💸 米NPOが多くの人に統計学を学んでもらうためにまとめた【データ分析のための統計学入門】の日本語版が無料公開されてるよ！ とても体系的に書かれていて、初めての統計の勉強はここからで間違いないかも！ 統計検定2~3級の内容に対応してるよ👍 https://t.co/vRtt4ocauC https://t.co/OQlbeGzARZ"
https://twitter.com/djrio_vr/status/1516235833548111872
深田えいみさんが日本人の血液型の割合をツイッターアンケートで検証。50万人の回答集計に成功した結果がわりと凄い結果に
