【新卒研修資料】基礎統計学 / Basic of statistics
株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。
株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。
資料では、統計学がどんな学問なのか、統計学を学ぶことにどんな意義があるのかという初歩から解説。その上で統計学を「記述統計学」と「推計統計学」に大別し、それぞれの特徴や手法、注意点を説明している。 今回の無料公開は、ブレインパッドで働く有志のデータサイエンティストが技術資料などを外部に発信するプロジェクト「OpenBrainPad」の一環。「統計学をこれから学ぶ人も復習する人もぜひ利用してほしい」（ブレインパッド）という。同プロジェクトでは、過去にはプログラムのバージョンを管理するシステム「Git」のハンズオン（実際に手を動かして学ぶ）資料なども公開している。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデータ分析の手法を解説する無料講座だ。 AIの基礎をZoomで講義 新人研修用
統計検定準1級 合格体験記 - Qiita
はじめに 統計検定準1級は(一財)統計質保証推進協会が実施、(一社)日本統計学会が公式認定する「2級までの基礎知識をもとに、実社会の様々な問題に対して適切な統計学の諸手法を応用できる能力を問う」試験です。現在はCBTでの実施となっています。 主観を込めて言いますと、2級と準1級では難易度に雲泥の差があります。 強調して言っておきます。まったく違います！ 準1級では統計的推定や検定に加えて、多変量解析(重回帰、PCA、主成分分析、数量化)、時系列解析、マルコフ連鎖、確率過程、分散分析、ベイズ統計、MCMC...と範囲が広いのが特徴です。 以下、かなりの長文になりましたが、受験して得た知見をかなり具体的に記述しました。読者の皆様の合格への一助となれば幸いです。 目的 私はとある私立中高で物理と情報を教えています。統計の勉強を始めたのは、教科「情報」を教えるにあたってのスキルアップが目的です。も
GW、暇なら読んどく？ 企業が無料公開した研修資料まとめ 「AI活用」「グラブル裏側」「うんこのリスク」など
2024年のゴールデンウイークがやってきた。暦の上では、3連休、平日3日、4連休と続いており、最大で10連休を取得し、休みを満喫している人も多いと思う。その中には、外出はせずに自宅でゆっくり過ごすという人もいるかと思うが、そんな人たちにおすすしたい、無料で読める研修資料を紹介したい。 昨今さまざまな企業で、自社の研修で使った資料を社外に公開するケースが相次いでいる。「事業や教育に役立ててほしい」という思いから公開されるそれらの資料たちは、新入社員向けの仕事の心構えを説くものや、各業務の基礎を解説した教材、今話題の生成AIの活用方法など多種多様である。 今回は、過去にITmedia NEWSやITmedia AI＋で取り上げた記事の中から数点を紹介する。ゴールデンウイーク中に読むもよし、連休明けの仕事始めのモチベーションを上げるために読むもよし、“あとで読む”用にブックマークしてもよし。それ
鴨葱鍋出汁 @tamakinsniper 三枚目、訴求力とかインパクトとか分かりやすさとか、そんなもののために正確さを犠牲にするのが推奨される現状を考えると焼酎呑まざるを得ない（→ただの言い訳） twitter.com/Count_Down_000… 2023-06-23 17:38:08
Open Interpreterの使い方や料金を徹底解説！実際にアンケート結果のデータ分析をした活用事例を紹介！｜Ainova
1. インストール 1pip install open-interpreter ターミナルで次のコマンドを実行して、Open Interpreter をインストールします。 2. 対話型チャットの開始 インストール後、次のコマンドを実行して、ターミナルで対話型チャットを開始できます。 1interpreter Python で対話型チャットを開始するには、次のコマンドを実行します。 1import interpreter 2interpreter.chat() 2. OpenAI APIキーの設定 OpenAIのAPIキーを利用する場合は設定が必要ですが、OpenAIのキーを使用しない場合は、Code-Llamaを利用することができます。 これで、Open Interpreterを利用する準備が整いました。 Open Interpreterの使い方 タスクの依頼・実行 Open Inter
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 ペンシルベニア大学などに所属する研究者らが発表した論文「Information content of note transitions in the music of J. S. Bach」は、音楽作品を情報ネットワークへと変換し、作品が内包する情報量と伝達効率を調査した研究報告である。この研究では、バッハの楽曲を情報ネットワークとしてモデル化し、楽曲が持つ情報量とその情報をいかに効率よく伝達するかを定量的に評価する。 手法の第一歩として、楽曲の各音符をネットワーク上のノードとして捉え、音符間の遷移をエッジで結び付けている。このエッジは指向
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
2023年下半期しいたけ占い
2023年下半期のあなたの運勢は？ しいたけ.からの熱いメッセージと一緒に、 新しい季節を楽しんでいこう。
この教材は、九州大学大学院統合新領域学府ライブラリーサイエンス専攻の2020年度PTL1で既存教材に改変を加えて作成した成果物について、同一の既存教材を再度参照し、研究データ管理支援部門にて、大幅に加筆・修正したものである。
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
統計学とは何か、そしてベイズ統計学の話 - hidekatsu-izuno 日々の記録
細々と統計学を調べ続けているが、最近ようやく統計学というものが何なのか、おぼろげながらわかるようになってきた（なお、統計学ができるようになってきたわけではない） 統計学を知る前の自分と今の自分をくらべたとき、間違いなく違うのは統計学に対する信頼だろう。以前は、統計学は数学の一分野であり、正しい分析手法を使えば真の答えが得られるものだと思っていた。しかし、実際には統計学者ジョージ・ボックスが言ったとされる「すべての（統計）モデルは間違っている、だが中には役立つものもある）」という言葉の方が実態に近い。 統計学は基本的に「不可能なことを可能にする（不良設定問題を扱う）」学問だ。例えば、1、3、5 という数字の列から何が言えるだろうか。確実なことは3つの実数値が観測された、ということだけで、それ以上のことは想像するしかない。奇数列かもしれないし、乱数から３つの値を取得した際に偶然それっぽい数字が
人文系大学生〜学部卒の方々を念頭に置いた講演でのスライドです。Enjoy！ ＊書籍：林岳彦著『はじめての統計的因果推論』（岩波書店）の情報はこちら→ https://www.iwanami.co.jp/book/b639904.html
まえがき データ分析はなんて広いんだろう。影響力の強まりに応じ、自然・社会・人間ほぼすべてが対象となりどんどん拡大していく。対象に応じ手法も広がり複雑化し、学ぶべきことが多すぎる。データサイエンティスト協会のスキルチェックリストVer.3.001（ごめんもう4.00が出てるね）も500超の項目があります。読むべき図書も良書と思われるものだけでも増え続けており、もう手に負えない状況です。 ただ、これはやってはだめだ、ここを知らないと道に迷う、という絶対に知っておくべき点は学べる範囲だと思います。本書では、データ分析において間違えやすい、誤解しやすい点を共有し、データ分析全体をよくする目的で、かつ データ分析の入門書・専門書に分野ごとには書かれてはいますが1つにまとまっておらず目に触れにくいもの データ分析の入門書・専門書でもスルーされていたり場合によっては誤っていると思われるもの で自分なり
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師。2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。 Science Fictions あなたが知らない科学の真実 スタンフォード監獄実験はイカサマだった！ 権威ある心理学研究の100件のうち、再現に成功したのはたったの39％!? 科学の信頼性を根底から揺るがす「再現性の危機」に迫る真実の書、日本上陸！ 科学における不正・怠慢・バイアス・誇張が起きる仕組みを多数の実例とともに解説。既存の本で知ったウンチクを得意げに語る人に読ませたい、真実の書。 バックナンバー一覧 「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。 科学の「再現性の危機」をご存じだろうか。心理学、
過去の出来事を科学的に分析することで、未来を予想できるとする「歴史動態学」が登場した。既存の歴史学者は懐疑的だが、このアプローチは興味深い。 SOURCE：REF．1 「歴史は繰り返す」という格言は、時に真実であるように思われる。例えば米国では、1861～65年の南北戦争後に民族間・階級間の反目による暴力事件が都市部で急増し、それが全米に広がって、1870年頃にピークに達した。国内騒乱が次に増加したのは1920年頃で、人種的反感による暴動、労働者のストライキ、反共感情の高まりなどにより、多くの人が近いうちに革命が起こるかもしれないと思った。米国社会は1970年頃にも不穏な状態に陥り、激しい学生デモ、政治的暗殺、暴動、テロが頻発した（『暴力の周期』参照）。 コネチカット大学（米国ストーズ）で個体群動態学の研究をしているPeter Turchinは、米国の政情の不安定さがピークに達した3つの時
以下，記憶だけで書いたいい加減な話． 5%閾値を広めた責任者は，K.Pearson, Fisher, Neyman, Snedecor，そして，統計分析のハウツー本の著者ら，さらに，私自身も含めた統計関連従事者（←統計家や統計学者ではない）ではないだろうか．Fisherだけに責任を負わせるのは酷な話だと思う． まず，1900年初頭には，K. Pearsonの提案をもとに，probable errorの3倍以上のものを”almost certain significance”とする分類がBiometrikaを中心に利用されていた．このprobable error (PE)は，Xが正規分布に従っている時に，μ± PEにXが属する50%となるもの．このPEは，元々は，Galtonが多用していた．（Galtonは，いまでいう四分位点から，PEを求めていた．Galtonの文献では，標本と母集団の違い
ABテストにおける分散削減手法①〜少ないサンプルから小さな改善効果を検出する〜｜あならいずパンダ
マネーフォワード 分析推進部の石田と申します。 社内では、データサイエンティストとして施策効果検証系の案件を中心に担当しています。 本稿から2回に渡って、「ABテストにおける分散削減手法」というテーマで記事を執筆したいと思います。 馴染みのない方もいらっしゃるかもしれませんが、ABテストへ分散削減手法を適用することで、例えば以下に挙げたメリットを享受することができます。 必要サンプルサイズを低減できるため、意思決定サイクルを高速化できる より小さな改善効果を検出できる 魅力的だと感じていただけた方は、ぜひ最後まで本稿をお読みください！ 目次 想定する読者層と書いてある内容本稿のメインターゲットは、以下のような方です。 統計的仮説検定の理論を少し勉強したことがあるけど、分散削減と言われてもあまりピンと来ていない 確率変数、標本平均、分散、正規分布の意味は分かるけど、t検定の検定統計量がパッと
今年もアドベントの季節が来ました。この記事は、まつーらとしお氏の主催する、アドベントカレンダー「言語学な人々」2023の12月16日のエントリーとして書かれました。今年は、カレンダー増刷で、黒木邦彦氏主催の、別館（言語学なるひとびと）もあります。どちらもご覧下さい。 和歌集の歌風の分析日本の古典和歌集には、それぞれの性格があります。『万葉集』は自然を歌っていて、「素朴」な歌もあるが、『古今集』は、宮中の「優雅」な伝統を反映している、など、言い方はいろいろあり得ますが、それぞれ異なった歌風を持っていることは間違いありません。それを、コンピュータ、特にAIで分析してみるというのがこのエントリーの内容です。日本語学会の機関誌『日本語の研究』19巻3号（2023年12月）に掲載した拙論（「和歌集の歌風の言語的差異の記述ー大規模言語モデルによる分析−」）の解説記事となります（来年6月にはJSTAGE
0.はじめに 『現代数理統計学の基礎』(久保川達也 著)の章末問題の答案を作成する．略解は久保川先生がこちらのサイトに掲載して下さっているが，「略解」なだけあって途中式がかなり端折られていたり，エレガントすぎて凡人では思いつきようのない解答だったりするので，多少計算がゴツくなったとしても庶民的な答案を心がける．また必要に応じて答案とは別に必要な知識の確認を行う． 各リンクから問題の方針と答案に飛べる． 1.確率 (易) ベン図書く (易) 和事象，積事象の性質 (易) 条件付き確率と同時確率 (易) 部分集合についての確率 (易) 条件付き確率の典型問題 (易) 条件付き確率の典型問題2 (易) 因果関係と相関関係，独立性 (易) 和事象と確率の和 2.確率分布と期待値 (標準) 分布関数，密度関数の定義 (標準) 分布関数，密度関数の定義2 (標準) 分布関数，密度関数の定義3 (標準)
※: 両側 p<0.10 （本A/Bテストにおける有意水準） この場合まず疑うべきはA/Bテストシステムのどこかにバグがあることです。なんらかの理由で購入頻度の高いユーザがZ群にばかり割り当てられたり、統計処理にミスがありp値が実際よりも低く出てしまったりということがあれば、まったく差がない群の間で見かけ上CVRに有意差が出てもおかしくありません。 しかしながらいくら調査してもシステム上の問題は見当たりませんでした。 『多重性の問題』の可能性があるも、それだけとも言い切れない 本A/Bテストにシステム的問題が見当たらない一方、統計手法的には1点問題がありました。それは検定多重性の問題です。検定多重性とは、3群以上の比較を行う際、本当は有意差が無いはずなのに有意差ありとなってしまう確率が2群の時よりも上がってしまう現象です。 このA/Bテストシステムは2群間での比較を前提にt検定で実装されて
これをもとに再度計算し直すと、(\hat{\beta}_0, \hat{\beta}_1, \hat{\beta}_2) = (2.07, 0.576, -3.91\times 10^{-3})、今度は \hat{\beta}_1=0.567 であり家賃が月収増加額に対して57.6%上昇するという随分大きな値が出てしまった。 このように、入力データが少し変わっただけで、線形回帰係数の推定値が大きく変化してしまう。 この原因は、説明変数として円単位の月収 X_1 とほぼ同じ意味を持ち相関も強い X_2、つまりドル単位の月収も含まれていることにある。 なお、もし X_1 だけ用いて予測を行っていれば、いずれの家賃データを入力として用いても回帰係数 \hat{\beta}_1 の推定値はおおよそ 0.30、つまり「月収が10,000円高ければ家賃がその約30%の3,000円程度高いところに住む傾
ベイズ統計学と再現性の危機（テンプル大学統計科学部助教授：マクリン謙一郎） #心理統計を探検する｜「こころ」のための専門メディア 金子書房
心理学において、これまでに得られた著名な研究結果が再現されないという再現性の危機が話題となっています。その原因の一端は、統計的仮説検定の使用にあると考えられています。そして、仮説検定のオルタナティブとして、ベイズ統計学に対する注目も高まっています。しかし、仮説検定がもつ問題の一部がどのようにしてベイズ統計学によって解決されうるのか、両者の立場の相違、ベイズ統計学の限界などについて、心理学においてまだ十分な議論がなされていないように見受けられます。そこで今回は、こうした再現性の危機と仮説検定の関係、ベイズ統計学の可能性と限界について、テンプル大学統計科学部助教授のマクリン謙一郎先生にご解説いただきました。 ※今回の記事は、統計的意思決定、仮説検定、ベイズ統計学について基礎的な知識があることを前提としています。あらかじめご承知おきのうえお読みください。 はじめに 再現性の危機が心理学を含む諸分
みなさんこんにちは。今日もChatGPTさんを講師にお迎えして、「ChatGPTとPythonで学ぶ k近傍法」というテーマで雑談したいと思います。それではChatGPTさん、よろしくお願いします。 assistant: こんにちは、みなさん。今日はk近傍法について学びましょう。 k近傍法（k-Nearest Neighbors、k-NN）は、分類や回帰の問題を解くためのシンプルな機械学習アルゴリズムの一つです。このアルゴリズムは、新しいデータポイントを分類するために、そのデータポイントの近くにある他のデータポイントを見て、それらの最も一般的なクラスを新しいデータポイントのクラスとして選択します。 Pythonの機械学習ライブラリであるscikit-learnを使ってk近傍法を実装することができます。以下に、基本的なコードを示します。 from sklearn.neighbors impo
読んだ本 1. 序論：統計モデルと因果モデル 因果グラフのノードは変数である 因果グラフが成立している場合の条件付き確率を比較 モンティホール問題を因果モデルで解釈する 2. グラフィカルモデルとその応用 因果グラフ上で従属関係を可視化する 因果グラフを構築する際の恣意性 3. 介入効果 4. 反事実とその応用 全体の感想 構造方程式と回帰式の違いをもっと早く書け まあ良著でした ちょうど一ヶ月前くらいに，昨年から延期に延期を重ねていたデータサイエンスエキスパート試験が遂に配信開始となった． www.toukei-kentei.jp とりあえず受けるのは確定として，いい機会なので今までなあなあに誤魔化してきた因果推論と時系列解析をちゃんとやることにした．まず因果推論の方から本を読むことにして，誰かに解説する体でやるのが一番理解が深まるので読みながら取ったメモを軽く清書して投稿している． 内
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新卒向け「統計学の基礎」100ページ超 SaaS企業が無料で資料公開
俺、バカだからよくわかんねぇけどよ…… #統計学 の勉強を薦められたから、子供向けの本を買ってきたったわ
バッハの曲を数学的に分析 “情報量が多く効果的に伝達している”と判明 米研究者らが検証
ベイズ統計学を勉強する参考書のフロー - Qiita
はじめよう、研究データ管理 | 九大コレクション | 九州大学附属図書館
はじめての「相関と因果とエビデンス」入門：“動機づけられた推論” に抗うために
ヤバいデータ分析（書籍・記事であまり扱われてないが重要なこと） - Qiita
【統計学「p＜0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身
科学としての歴史 | Nature ダイジェスト | Nature Portfolio
Fisherだけに5%閾値の責任を負わせるのは少し酷な気がする - Tarotanのブログ
日本の古典和歌を埋め込みベクトルで分析する｜yhkondo
『現代数理統計学の基礎』章末演習問題解答 (答案) - Qiita
A/Bテストで想定外の結果が出たら？検定多重性の影響を定量的に分析する
線形回帰において「多重共線性があると推定が不安定になる」とは？〜図と理論で理解する〜
ChatGPTとPythonで学ぶ k近傍法 - Qiita
23/6/10 『入門 統計的因果推論（Judea Pearl）』メモ - LWのサイゼリヤ