機械学習を使うデータサイエンスの仕事に比して、統計学を使うデータサイエンスの仕事が産業界に少ない理由 - 渋谷駅前で働くデータサイエンティストのブログ
近年のデータサイエンティスト界隈では、僕が以前スキル要件記事でも提唱した通りの「ソフトウェアエンジニアの延長としての機械学習エンジニア」（機械学習メイン）と「アナリストの延長としてのデータサイエンティスト」（統計学メイン）とにキャリアもポジションもカルチャーも分化するようになって久しい印象があるのですが、世の中に溢れる求人情報や各種SNSで流れてくる巷の声を見聞きする限りでは、どう見ても前者の方が数が多い上に需要も旺盛なんですよね。 発展というよりMLを使ったプロダクトでお金稼いでいる会社があって、統計学やエコノメベースでプロダクトを作る事業会社がないだけだと思います。統計学とか示唆出しの手段なので、ブラスでお金稼ぐ感覚がないと居場所がないだけかなと。 https://t.co/PCDQHiIvlJ— be (@behemuhemulove) 2024年6月11日 で、畏友*1beさんがこ
統計検定®︎準１級は実務で役に立つのか？
タイトルの結論は、「役に立つ」です。 役に立つか立たないかの議論は一切せず、本記事では、如何に統計や数学が実社会で役に立つかを紹介します。 はじめに こんにちは。ZENKIGENデータサイエンスチーム所属の廣田です。原籍はオムロンソーシアルソリューションズ株式会社 技術創造センタですが、社外出向でZENKIGENに所属しており、数理最適化や機械学習を用いたデータの分析業務、それらの結果に基づいた顧客への提案をしております[1]。 出向先であるZENKIGENの同僚にも、原籍のオムロンの同僚にも、統計検定®の準1級や1級を持っている方がいて、私も負けじと準1級を受験しました。結果、統計検定®準1級に合格し、優秀成績賞までいただくことができました。 統計検定®合格証と優秀成績賞 試験対策を通じて、改めて統計学の考え方は有用と感じました。この手の検定試験は物事を体系的に学ぶきっかけになるため、私
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
【統計学「p＜0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師。2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。 Science Fictions あなたが知らない科学の真実 スタンフォード監獄実験はイカサマだった！ 権威ある心理学研究の100件のうち、再現に成功したのはたったの39％!? 科学の信頼性を根底から揺るがす「再現性の危機」に迫る真実の書、日本上陸！ 科学における不正・怠慢・バイアス・誇張が起きる仕組みを多数の実例とともに解説。既存の本で知ったウンチクを得意げに語る人に読ませたい、真実の書。 バックナンバー一覧 「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。 科学の「再現性の危機」をご存じだろうか。心理学、
基礎から学ぶ統計学
本章では、二項検定を学びます。二項検定は、本書で学ぶ統計手法の中では、最も使用頻度が低い手法です。しかし、統計学の入門に最適な学習項目です。理由が3つあります。第一に、高校1～2年で学んだ数学だけで、この手法の原理を完全に理解できます。統計手法はたくさんありますが、唯一この手法だけは、全て手作りの計算で実行できます。第二に、面倒な検定統計量の計算を必要としません。第三に、二項検定には、検定の論理の全てが詰まっています。こうした理由から、読者のお父さんやお母さん、もしくは、お爺ちゃんやお婆ちゃんの世代では、二項検定は、高校の数学の教科書で解説されていました。この「とても分かりやすい」という長所を、活用しない手はありません。本書では、統計学の学習を、二項検定から始めます。本章では、当時の大学入試の頻出問題をさらに簡単にした例題を使って、学びます。… 本書の使い方 統計学を学ぶ心がけ／予備知識／
キヨシの命題
2022.09.01 ビジュアライゼーション 開発しているサービスで、KPIをモニタリングするためにオープンソースBIのRedashを導入しようという話になりました。 そこで、まずは試しにローカルにRedashサーバーを構築してみることにしました。 Redash用のDockerイメージがあるので簡単に構築できるかと思いましたが、意外とM1チップ搭載のMacbookだとドキュメント通りにいかなかったのでメモします。 環境 MacBook Air […] 2022.08.22 エンジニアリング 最近TwitterでJTCの内情のツイートばかりをしていて、技術的な発信をおろそかにしていました…。反省です。 ということで、久々のブログ投稿です。 仕事上よく緯度・経度を持つ空間データの分析をするのですが、毎回DWH(AWS RedShift)からPython実行環境にロードし、GeoPandasやS
新卒向け「統計学の基礎」100ページ超 SaaS企業が無料で資料公開
資料では、統計学がどんな学問なのか、統計学を学ぶことにどんな意義があるのかという初歩から解説。その上で統計学を「記述統計学」と「推計統計学」に大別し、それぞれの特徴や手法、注意点を説明している。 今回の無料公開は、ブレインパッドで働く有志のデータサイエンティストが技術資料などを外部に発信するプロジェクト「OpenBrainPad」の一環。「統計学をこれから学ぶ人も復習する人もぜひ利用してほしい」（ブレインパッド）という。同プロジェクトでは、過去にはプログラムのバージョンを管理するシステム「Git」のハンズオン（実際に手を動かして学ぶ）資料なども公開している。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデータ分析の手法を解説する無料講座だ。 AIの基礎をZoomで講義 新人研修用
統計学の講義資料(2022年度) | Logics of Blue
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
最適な設備投資を把握
スーパーのレジ、病院の診察室、銀行のATM、空港の搭乗手続きなど、世の中の至るところで順番待ちをする人の行列（待ち行列）がみられます。 企業などにおいては、最大限の利益を上げるために、商品やサービスを提供するお客の回転数を高めることが大切です。回転数を上げることは、お客の待ち時間が少なくなり、お客に対するサービスの向上にもつながります。 この行列を解消するためには、例えば、銀行の場合であれば、窓口（対応する人）を増やすことが考えられます（※1）。しかし、一体どれくらい増やせばよいのでしょうか。 もし窓口を必要以上に多く作ってしまうと、せっかく作った窓口は無駄な投資となってしまいます。逆に少ない場合は順番待ちの行列で溢れてしまうことになります。 このようなときに使われているのが「待ち行列理論（※2）」です。 待ち行列理論は、「何らかのサービスを受けるために順番待ちをする人」が作る列（待ち行列
イチローの安打数がポアソン分布にならず正規分布になる理由を考察してみた | ロジギーク
滅多に起こらない現象を表すポアソン分布はイチローの安打数にも当てはまるのか？ １９９４年、プロ３年目のイチローはシーズン２１０安打、打率.３８５を記録して、一気にスーパースターになりました。 この年の打率１０傑は次の通りです。 （年度別成績 1994年パシフィックリーグ｜NPB.JP 日本野球機構 より抜粋） １位と２位以下の差が凄いですね。 いかにイチローが図抜けていたかが分かります。 今年のパ・リーグの規定打席以上の打者２９人の安打数を見ると、試合数より少なくなっていて安打数÷試合数＝０.９３です。 これくらいだと、１試合当たりの安打数は「滅多に起こらない事象の確率分布」であるポアソン分布に従います。 しかし、普通でない打者のイチローは、１試合当たり１.６本以上の安打を打っています。 そのような場合もポアソン分布に従うのでしょうか？ それを調べてみました。 比較対象として１９９４年打率
工場裏のアーカイブス
間が空いてしまいましたが（1）の続きとなります。こちらでは対応のある一元配置分散分析や、二元配置分散分析について纏めます。個人的な備忘録の色合いが強く、色々と端折っている部分があります。 ※環境はJupyter Notebookの想定です。 ※有意水準は全て5%（0.05）とします。 対応のある一元配置分散分析 使用するデータ statsmodelsを用いる方法 繰り返しのある二元配置分散分析 使用するデータ statsmodelsを用いる方法 対応のある一元配置分散分析 使用するデータ ここでは入門-統計学-第2版-という教科書171ページにある、対応のある一元配置分散分析の例題について、Pythonでトライしてみます。 こちらは2名の喫煙者Aさん、Bさんに対して、禁煙外来のカウンセリングが喫煙本数を変化させたかを検証する、という例題であり、以下の表がその結果となります。表内の数値は1日
サンプル数とサンプルサイズの違いをわかりやすく解説 ｜AVILEN
これらの言葉の意味を考えるときに注意すべきなのは，「サンプル」という用語の意味です。 サンプルとは「標本」、「群」の意味で、ひとまとまりの観測データを指します。 サンプル数とは「群の数」、サンプルサイズとは「一つの群のサイズ，大きさ」という意味になります。 例題：各都道府県の男子高校生の身長例題 47 都道府県の男子高校生の身長の平均を比較するという調査を行います。各都道府県から無作為に 1000 人を選んで平均を算出したとき、この調査におけるサンプル数、サンプルサイズをそれぞれ考えましょう。 解答 サンプル数（群数）：47 サンプルサイズ（各群のサイズ）：1000 人 / 群 標本抽出を 47 回行ったためサンプル数は 47、各標本の個体数が 1000 人のためサンプル数は 1000 となります。 例題：マウスの投薬実験例題 癌を発症したマウスに対して、コントロール、薬 A、薬 B（それ
Data Science by R and Python
はじめに ほんと、久々の更新になってしまいました。。。 いまだに月間で1000PVほど見られているようでとてもありがたく思いますm(_ _)m 最近も変わらず因果推論の研究を中心に行っておりますが、それ関連の内容はまた機会をみてblogで書いていければと思っています。 また先日、twitterで公開したこちらのスライドもたくさんの方に見ていただけまして、コメントも頂けたりして、とても嬉しく、励みになっています。 speakerdeck.com また、少しずつではありますが更新いたしますので、たまに覗いていただければ嬉しいです。 では、本題にまいります。 今回の更新 とはいっても、今日の更新は、大した内容ではなく、pythonでstepwise regressionの関数で自分がほしいものがないので、つくりましたという内容です。 Stepwise Regressionについて 特に、回帰モデ
トップページ | マサムネの部屋
筆者の説明 大学で物理、大学院で数学を専攻してました。2 1年ちょっと製造業でデータサイエンティストをやってました。 2021年からSE的な仕事を始めました。 2020年後半~2021年9月現在、勉強の時間があまり取れず記事の更新は停止中です。 twitter では、記事更新のお知らせ、最近勉強してることなどを呟いています。 各分野の代表的な話題のリンク集を置いておきます。 機械学習に関連する話題 ゼロから作るニューラルネットワーク pythonの最もメジャーなライブラリnumpy だけでニューラルネットワークモデルと呼ばれる簡単な画像認識問題を解きます。 ゼロから作るニューラルネットワーク1ゼロから作るニューラルネットワーク2ゼロから作るニューラルネットワーク3 自然言語処理 数理モデルに日本語の意味を理解させる分野です。 自然言語処理入門の入門文章の自動生成をやってみるRNN(リカレン
中心極限定理をPythonで証明してみた - case-kの備忘録
記事を見て頂きありがとうございます。今回は中心極限定理について記事を書いてみました。中心極限定理について二項分布・正規分布・ポアソン分布を用いて説明します。 本記事の目的 中心極限定理とは 中心極限定理のシュミレーション 確率分布 正規分布とは 正規分布の特徴 二項分布とは ポアソン分布とは 中心極限定理のメリット 各分布の利用用途 正規分布活用CASE： 二項分布活用CASE： ポアソン分布活用CASE： 本記事の目的 本記事は以下を目的としています ・中心極限定理のメリットや活用用途の理解 ・実際に動かして学び理解を深める 中心極限定理とは 中心極限定理とはサンプルサイズが大きい時は、母集団分布が分からなくても、確率変数の和は正規分布に近いものとなることです。 中心極限定理は母集団がいかなる分布に従っていても、正規分布として扱うことができるのがメリットで、実際のユースケースでいうと標準
【コラム】「有意差」なるものを過信してはいませんか - コラムバックナンバー - アナリティクス アソシエーション
【コラム】「有意差」なるものを過信してはいませんか Option合同会社 柳井 隆道 発信元：メールマガジン2019年4月17日号より ABテストなどを統計的に正当化するために使われる「有意差」。この有意差について先日こんなことが話題になりました。 原文 Scientists rise up against statistical significance 日本語の説明 「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿 サイエンスの世界でも「有意差」なるものが誤った使われ方をしている。現在行われている誤用を導くような論文審査の方法をやめなさい。 という話です。 ■有意差とは 有意差についてご存知でない方のためにおさらいしておきます。有意差とは複数のグループを比較するときに用いるアイデアです。グループ間で対象の変数の値の差を見て、その差がある程度以上大
統計局ホームページ
分析レポート 統計ヘッドライン - 統計局月次レポート -令和5年10月13日更新 令和5年10月（統計ヘッドライン No.164） 統計Today - 統計をめぐる新しい動きやメッセージ -令和5年9月25日更新 令和5年住宅・土地統計調査 ～みんなのおうち調査 10月1日が調査日です～（統計Today No.198）（PDF：589KB） 統計トピックス - 「国民の祝日」や季節にちなんだ統計データ -令和5年9月17日更新 統計トピックスNo.138 統計からみた我が国の高齢者－「敬老の日」にちなんで－ 労働力調査ミニトピックス - 労働力調査結果に関する分析レポート - 家計ミニトピックス - 家計調査結果に関する分析レポート - 小売ミニトピックス - 小売物価統計調査結果に関する分析レポート - 統計を学ぶ ・児童・生徒向け学習サイト ・先生向け学習サイト （授業モデル・補助教
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【新卒研修資料】基礎統計学 / Basic of statistics
エイトベース |
BASIC STUDY | AVILEN AI Trend