「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 （最速・最短ルート用） まずは動かしてみよう。強くてニューゲームが体験出来るぞ！ 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入
帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 目次 本資料について 統計学の講義資料 1．本資料について 帝京大学経済学部で用いた講義資料です。 2022年度の統計学I及び統計学IIの講義スライドを編集したうえでUPしています。 もとの講義資料とは異なる点もあるのでご注意ください。 万が一何か問題があれば、当ブログにコメントをいただけますと幸いです。 スライドにも記載の通り、以下の利用を想定しています。 想定①：講義の受講者が復習に利用する 想定②：未受講者が統計学入門資料として利用する 基本的には想定①ですが、文系の学生をメインターゲットとした統計学の本格的入門資料は少ない印象です。 未受講者の方にも役に立つかもしれないと思いWeb上で公開することにしました。 本資料は1年間にわたる講義資料となっています。数回
統計・機械学習の理論を学ぶ手順 - Qiita
社内向けに公開している記事「統計・機械学習の理論を学ぶ手順」の一部を公開します。中学数学がわからない状態からスタートして理論に触れるにはどう進めばいいのかを簡潔に書きました。僕が一緒に仕事をしやすい人を作るためのものなので、異論は多くあると思いますがあくまでも一例ですし、社員に強制するものではありません。あと項目の順番は説明のため便宜上こうなっているだけで、必ずしも上から下へ進めというわけでもありません。 （追記）これもあるといいのではないかというお声のあった書籍をいくつか追加しました。 数学 残念ながら、統計モデルを正しく用いようと思うと数学を避けることはできません。ニューラルネットワークのような表現力が高くて色々と勝手にやってくれるような統計モデルでも、何も知らずに使うのは危険です。必ず数学は学んでおきましょう。理想を言えば微分トポロジーや関数解析のような高度な理論を知っておくのがベス
はじめにこの記事は、放送大学の（主に情報コースを中心とする）学生さん向けに、私の履修済み科目の感想と主観的評価を共有して、履修計画の参考にしていただくことを目的に作成しました。下記の記事の通り、2019年-2020年の2年間で情報コースの科目を8割方履修したのでそれなりの網羅性があるかと思います。 （2023年2月追記）その後、選科履修生として履修した他コースの科目や大学院科目などを追加して112科目掲載しています。試験難易度については履修時期によって会場試験・在宅ペーパー試験・在宅Web試験が混在しているので参考程度でお願いします。 タイトルは私が現役生の時に通っていた大学の似たような評価システムから拝借しました。 以下の科目は基本的にナンバリングが低い順に並べています。閉講済みの科目も混じっていますが、記録と後継科目の参考のために残しておきます。あくまで全て（上記の記事にある通り、文系
統計検定1級(2021)を受験した話（統計数理の試験対策・勉強編） - 統計応用合格君’s diary
この記事は何？ タイトルの通り、2021年の統計検定1級試験を受験し統計数理に合格してきたので、記憶が鮮明なうちに勉強してきた内容をメモしておこうと思います。ちなみに、統計検定は私にとって今回が（級によらず）初めての受験でした。 対策・勉強した内容以外の、当日の受験体験記は以前に公開していますので、そちらもご興味あればぜひ併せてご覧ください。 taro-masuda.hatenablog.com 免責 あくまで個人的な方法論であるため、本記事の情報が必ずしも今後の試験においてそのまま有効であるとは限りませんのでご注意ください。損失等をこうむられた場合であっても、筆者は一切の責任を負いかねます。 TL;DR 久保川先生の教科書『現代数理統計学の基礎』の2~8章の章末問題(（＊）印は飛ばす) + 統計数理は過去問を仕上げました。過去問は1ヶ月以上前からやるのがお勧めです。 現代数理統計学の基礎
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい
データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ
はじめに 千葉大学・株式会社Nospareの川久保です． 今回は，初学者レベルから学部上級レベルの統計学関連の教科書を，順を追って紹介していきます．普段，経済学をはじめとする社会科学（経済学・経営学や政治学など）を学ぶ学生に教えているので，タイトルに「社会科学向き」と入れてみましたが，これから紹介する多くの本は，他の応用でも役に立つものが多いはずです． 入門書 大屋幸輔『コア・テキスト統計学』 厳密さと初学者に対する分かりやすさのバランスのとれた本です．演習問題を集めた副読本もあるので，こちらと併せて学習すると効果的だと思います． 久保川達也・国友直人『統計学』 入門書としては，やや硬派な教科書ですが，しっかり学びたい人にはお勧めの教科書です．「1.記述統計」「2.確率」「3.推測統計」と標準的な構成をしている中，最後の第4部では社会・経済データとして標本調査や時系列分析の話題にも触れてい
はじめに 千葉大学/Nospareの米倉です．今回は，統計学・機械学習周辺で，僕が良いと思ったチュートリアル/サーベイ論文と講義ノートを簡単なコメント付きで紹介したいと思います．チュートリアル論文やサーベイ論文は，そのトピックの解説や教育面にフォーカスしていて，何か勉強したり，網羅的に把握するときに非常に便利だと個人的に思います．また公開されている講義ノートの中には非常に勉強になるものが多くあります．内容は僕が興味があるトピックに偏っています．またすべて無料で読めます．（教科書等の海賊版みたいなのは載せていません） 10本の紹介 Nickl "STATISTICAL THEORY" Nicklの統計学の講義ノートです．いわゆるM推定量の漸近的性質に加え，バーンスタイン・フォンミーゼズ定理等も証明付きで解説されており，上級レベルの数理統計学を学ぶのに重宝すると思います． Doucet and
「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関
2023年11月19日に統計検定1級を受験し，統計数理，統計応用(社会科学)にダブル合格。 勉強期間半年(半分ダラダラ)で一発合格できた経験をもとに主観込み込みで綴っていきたいと思う。 結論 結論からいいます。統計検定1級に受かりたければやることはただひとつ。 現代数理統計学の基礎を完璧にする。 これだけです。現代数理統計学？統計検定準1級ワークブック？過去問？いりません。 現代数理統計学の基礎，この本を仕上げ切るまでは手をつけなくていいです。 なぜ僕がこう言い切れるのか軽く説明していきたいと思います。 簡単な自己紹介 某都内私立大学3年生。大学の授業で線形代数，微積，確率統計の基礎を履修。受験期は理系で数3も勉強していたためそこまで数学に対する抵抗はない。というか数学に抵抗のある方は統計検定1級に向いてないと思う。 なぜ現代数理統計学の基礎だけでいいのか 統計応用の勉強はどうするの？そう
言語&開発基礎編 PythonやSQLなどの言語と開発環境に関連することをまとめました。 機械学習に関する教材はこの次のセクションにまとめてあります。 学習環境 インストール及び使い方チュートリアルのサイトと、ある程度使い慣れた後に役立つtips集を各エディタでまとめました。 Google Colaboratory Python初学者にとって最もわかりやすいPython実行環境です。プログラミングは初めて！という方はまずこのGoogle Colaboratory(通称: Colab)から始めてみて、使い方がある程度わかったら、そのまま次のセクションのPython編に移りましょう。 Pythonプログラミング入門 難易度: ★☆☆ 東京大学の公開しているPython講座ですが、冒頭でColabの使い方を解説しています。使ったことのない方はこちらから！ Google Colabの知っておくべき
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強する上で個人的にオススメな日本語の教科書10冊を簡単に紹介したいと思います． 一般的な方法論・基礎理論 中妻照雄『入門ベイズ統計学』 簡単な例と実践的な例を使ってベイズ推論の考え方が導入された後，マルコフ連鎖モンテカルロ法(MCMC)の基礎的な事項がまとめられています．基本的な数理統計学が理解できていれば十分読める内容になっている印象です．この本の続編である中妻照雄『実践ベイズ統計学』では，ファクターモデルやそのポートフォリオ選択への応用，ベイズ的線形回帰モデル，モデル平均化法などのより発展した内容について丁寧に解説されています． 伊庭幸人・種村正美・大森裕浩・和合肇・佐藤整尚・高橋明彦『計算統計II』 かなりボリュームのある内容の本です．基本的な話題として，MCMCの基礎や標準的な統計モデルにおけるベイズ推論に関して数
【特集】「『予測』という名の欲望」全記事はこちらから読めます ■人間にはAIの考えが分からない？ ――ディープラーニングは、大量の「教師データ」を読み込み、入力する変数と、出力する変数との間の関係を見つけ出します。その関係が分かれば、新たなデータを入力したとき、出力が予測できるというわけですが、なぜ人間はそのプロセスを理解できないのでしょうか？ おもにふたつの要因があります。質的なものと、量的なものです。量的な問題は、すごくシンプルです。ディープラーニングの内部で動くパラメータ（母数：システムの内部で動く情報）が多すぎるので、その大量・複雑なデータを人間の直感につなげることが難しい、という話です。最近は、多いものでは1億個を超えるパラメータから出力を予測します。じゃあ、その1億個をざっと人間が見てなにか分かるのかといえば、分からない。これが基本的に起こることです。 ――大量の変数という意味
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
こんにちは、クルトンです！ 2021年11月21日に実施された、統計検定1級（数理統計、応用統計（理工学））に合格することができました！ なので、この記事では統計検定を受けるまでに勉強した内容について書こうとおもいます。 勉強を始める前の状態 どんな試験か 参考書 入門統計解析 現代数理統計学 現代数理統計学の基礎 大学教養線形代数（数研講座シリーズ＋チャート式） 確率と確率過程 過去問（2012～2019） 統計学 日本統計学会公式認定統計検定1級対応 やって良かったことorやっておけば良かったこと まとめノートを作る 過去問を早くからやる 連想ゲームをしてみる 最後に 勉強を始める前の状態 統計はセンター試験と大学1回生のときに般教でやった程度（分散は分かるけど不偏分散って何？ぐらいのレベル） 大学数学は微積分を選択したので線形代数は何も知らない 高校数学は得意な方だった みたいな感じ
ふと思い立ってこんなアンケートを取ってみたのでした。 頻度主義統計学における「95%信頼区間」の95%というのは、以下のどちらだと思いますか— TJO (@TJO_datasci) 2021年7月16日 結果は物の見事に真っ二つで、95%信頼区間の「95%」を「確率」だと認識している人と、「割合」だと認識している人とが、ほぼ同数になりました。いかに信頼区間という概念が理解しにくい代物であるかが良く分かる気がします。 ということで、種明かしも兼ねて95%信頼区間の「95%」が一体何を意味するのかを適当に文献を引きながら簡単に論じてみようと思います。なお文献の選択とその引用及び解釈には万全を期しているつもりですが、肝心の僕自身が勘違いしている可能性もありますので、何かしら誤りや説明不足の点などありましたらご指摘くださると有難いです。 頻度主義において、95%信頼区間の「95%」は「割合」を指す
国友直人のホームページ
私のホーム・ページにようこそ 制作協力：福井崇人・一場知之/最後の訂正:2023年1月15日 [ 英語 | 日本語 ] 研究・教育活動の主な分野 統計学、計量経済学、数理・計量ファイナンス、経済統計学、データサイエンス(統計科学) 最近の活動 社会協力活動 国土交通省第三者委員会委員(建設工事受注動態統計調査の不適切処理問題, 2021.12.23-2022.1.14) 報告書, 国土交通省 研究協力 経済時系列解析プログラム・季節調整法X12SIML(佐藤整尚先生, 2023.2.1) 日本語解説, 英語解説 新刊 「データ分析のための統計学入門」("OpenIntro Statistics, 4th Edition" by D.Diez, M.Cetinkaya-Rundel and C.Barr, 日本語印刷版(誤植訂正版), 日本統計協会, 小暮厚之氏・吉田靖氏と共訳,2021年3
企業で働くデータサイエンティストになって10年が経ちました - 渋谷駅前で働くデータサイエンティストのブログ
TL;DR 10年前の落ちこぼれポスドクが今は立派なデータサイエンティストになれたっぽいので、ポエムを書きました。業界事情の振り返りと、仕事の話、知名度が上がることの良し悪し、キャリアの話などを綴っています。 時が経つのは早いもので、落ちこぼれポスドクだった僕が企業転職をし、データサイエンティストになって今日で10年が経ちました。自分の中ではデータサイエンティストに転じたのはついこの前のことのように思える一方で、あまりにも多くの様々な体験をしてきたせいか「もっと時間が経っている気がするのにまだ10年しか経っていないのか」という気もしています。 今でも時々SNSで話題に上る回顧録を書いたのが3年前のことなんですが、それ以降は相変わらず同じく現職に留まり続けていることもあり、有体に言えばそれほど大きく変わったことはありません。なので、新たに3年間の振り返りを書くのではなく、回顧録で書き漏らした
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
統計1級に合格したぜ！惰眠です。 2022年11月20日の統計検定1級の試験（数理・応用（医薬生物学））に合格しました。 数理の方では、成績優秀との評価も頂けました。 統計１級、数理応用とも一発合格していた！！ 数理の方では優秀にも入っていた、よかったよかった マジで安心しています pic.twitter.com/bJR4q5LCxV — 惰眠 (@5882353i) 2022年12月19日 これは数学の授業のない理系の大学3年生が統計1級とかいう積分RTA祭に挑み、一発合格を果たすまでの感動秘話です。 統計1級という試験について 数理・応用に共通の性質 統計数理の性質 統計応用の性質 ぼくの受験体験 対策 統計準１級に合格している人向け いきなり統計１級に挑戦する人向け 確率分布曼荼羅つくり 過去問演習 本以外の便利な記事・動画 知識を得るもの 茨城大学の新納先生の資料 はじめての統計学
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 通勤電車のなかで私が勉強する用のシリーズ第5弾です。今回は統計的検定についてまとめておこうと思います。 【これまでのシリーズへのリンク】 ・[数理統計学]統計的推定のまとめ ・[数理統計学]正規分布から導かれる分布(カイ二乗分布/t分布/F分布)の期待値と分散の導出まとめ ・[数理統計学]連続型確率分布の期待値と分散の導出まとめ ・ [数理統計学]離散型確率分布の期待値と分散の導出まとめ 目次 統計的仮説検定 検出力 一様最強力検定 ネイマン-ピアソンの基本定理 不偏
![[数理統計学]統計的検定のまとめ – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
渡辺澄夫先生と初めてお会いしたのは、私が産総研の麻生英樹先生が主催していた研究会に呼ばれて、90分程度のセミナーで話をしたときでした。大阪大学に(専任)講師として着任した1994年の初夏で、ベイジアンネットワークの構造学習に関する内容だったと思います。そのときに、2-3分に1回くらい、終わってみると全部で20-30回くらい私に質問をされた方がいました。その方が渡辺先生でした。 渡辺先生が、「学習理論の代数幾何的方法」というタイトルで、IBIS（情報論的学習理論ワークショップ）という機械学習の研究会で講演されたのは、それから5年ほど後のことでした。私自身も当時、代数曲線暗号や平面曲線に関する論文も書いていて(J. Silverman氏との共著論文は、100件以上引用されている)、ベイズ統計学と代数幾何学はともに自信がありました。しかし、渡辺先生のIBISの話は、オリジナリティに富みすぎていて
【大人と子ども】世界中のボードゲームではじめるプログラミング学習（６歳、８歳、コーディング・シリーズ） - 登る管理栄養士のブログでアウトプット
この記事ではボードゲームではじめるプログラミング学習についてご紹介します。 プログラミング教育とは プログラミング思考力 ６歳からのプログラミング的思考に QOUORIDOR（コリドール） QUARTO（クアルト） QUIXO（クイキシオ） MARRAKECH（マラケシュ） MATHDICE JR（マスダイス・ジュニア） QUORIDOR（コリドール）とは？ ８歳からのプログラミング的思考に SUDOKU（スドク） AMAZE（アメイズ） PYLOS（ピロス） CHOCOLATE FIX（チョコレート・フィックス） GRAVITY MAZE（グラビティ・メイズ） CIRCUIT MAZE（サーキット・メイズ） NASAのプログラマ−が開発したボードゲーム CODE MASTER（コード・マスター） CODE ON THA BRINK（コード・オン・ザ・ブリンク） CODE ROVER CO
統計学はやはり人類には早いと思う 仕事で数理統計学を勉強していて、趣味で統計検定1級を取ろうとしているのですが、 今日は統計的検定の話をしようと思っています。 というのも、これが僕の無知によるものなのか、それとも世間一般に言われる誤解なのかはわからないんですが、 統計的検定ってそもそも一体何であるのかについて、よく理解できた形で 議論をしている場面に出会ったことがあまりないと思ったからです。 この記事ではどうにか「検定するには母集団に対する仮説を持つことが重要ですよ」とか「仮説がふんわりしたところで検定すると危ないですよ」とか話しますが、 具体的に「母集団に対する仮説を雑に決めたことで大きな損失を得た事例」をよく知らないので、 説得力に欠ける話になっています。大きな損失を得た事例持ってる方いたら教えてくだし。 どこまでを話すか？ 実際、統計的検定や、その結果の判断軸などについては完成した合
元々はQuoraでこういうアンサーを書いたのがきっかけです。 本文中では「厳密性を一切考慮しない平易な説明で良ければ（※僕自身も数理統計学的な意味での確率論に関してはど素人なのでそもそも厳密な説明はできませんが）」と断り書きを入れましたが、厳密でないどころか間違っていたらそれはそれで悲しいので、詳しい方*1からツッコミをいただくべくブログ記事にもう少し細かく書いてみようかと思ったのでした。 ということで、Quoraアンサーの補足説明も兼ねて自分なりの理解を以下に書いておきます。誤っている点や不足している点などあれば、何かしらの形でツッコミを入れて下さると有難いですm(_ _)m 人口に膾炙した説明 実験1：本来の平均回帰 数学的説明 実験2：純粋に運が試されるギャンブル 結果から見えるもの 余談 追記 人口に膾炙した説明 一般には平均への回帰 (Regression toward the
以下，記憶だけで書いたいい加減な話． 5%閾値を広めた責任者は，K.Pearson, Fisher, Neyman, Snedecor，そして，統計分析のハウツー本の著者ら，さらに，私自身も含めた統計関連従事者（←統計家や統計学者ではない）ではないだろうか．Fisherだけに責任を負わせるのは酷な話だと思う． まず，1900年初頭には，K. Pearsonの提案をもとに，probable errorの3倍以上のものを”almost certain significance”とする分類がBiometrikaを中心に利用されていた．このprobable error (PE)は，Xが正規分布に従っている時に，μ± PEにXが属する50%となるもの．このPEは，元々は，Galtonが多用していた．（Galtonは，いまでいう四分位点から，PEを求めていた．Galtonの文献では，標本と母集団の違い
新型コロナ、スウェーデンは高齢者を犠牲にしたのか
Sweden's COVID Strategist Wants to Ease Restrictions for Elderly ＜ロックダウンをせずに独自の感染対策を貫くスウェーデンでは、死者の9割を占める高齢者に対する行動制限も緩和しようとしている＞ スウェーデンは新型コロナウイルス対策としてロックダウン（都市封鎖）を実施せず、独自の方針を貫いてきた。若者を含む人口の大半には「密を避ける」程度の感染防止策ですませる一方、死亡リスクの高い70歳以上の高齢者に対しては他人との接触を避けることを求めてきた。今度は、高齢者に対しても感染防止のための制限を緩和する考えだ。 世界的に論争の的になっているスウェーデンの反ロックダウン戦略を指揮してきたアンデシュ・テグネル博士は、BBCラジオ4のインタビューで、「高齢者に、これ以上の完全隔離は必要ないと言うつもりだ」と語った。 新型コロナによるスウェー
概要 社会人2年目が終わるので、この1年間で読んだ本150冊のうち技術寄りの本から45冊をざっくり紹介します。 1年目はこちら。 ※2024年3月追記 本記事で読んだ書籍は2022年4月から2023年3月までに読んだものです。 最新のトレンドや2023年4月以降に出た書籍は反映されていません。 説明 オススメ度は10段階です。昨年は1年目としての主観難易度も付けていましたが、2年目になるとキャリアプランの方向性によって積み上げがバラバラだと思うので、やめました。 ジャンル内の順序は、「この順で紹介文を見せたい」でフワッとソートしていて、具体的にはオススメ度降順や難度昇順ですが、明確な比較関数はありません。 雑誌や、読了したけど紹介する必要がないと感じた書籍は割愛しがちです。特に良かった特集は時々紹介します。 プログラミング言語 Rust 『手を動かして考えればよくわかる 高効率言語 Rus
【知育玩具】3歳～8歳におすすめしたいプログラミング学習に役立つボードゲーム - 登る管理栄養士のブログでアウトプット
この記事ではボードゲームではじめるプログラミング学習についてご紹介します。 プログラミング教育とは プログラミング思考力 ３歳からのプログラミング的思考に KATAMINO（カタミノ） 幾何学図形が空間認識力、数学的論理性を育む １歳からの「育脳」にも使える！ 積み木遊び 色遊び 型はめ ４歳からのプログラミング的思考に ZINGO（ジンゴ） ROBOT TURTLES（ロボット・タートルズ） ５歳からのプログラミング的思考に RUSH HOUR JR（ラッシュアワー ジュニア） BALANCE BEANS（バランス・ビーンズ） HOPPERS（ホッパーズ） QUORIDOR KID（コリドール・キッズ） MIND LAB（マインド・ラボ）とは？ ６歳からのプログラミング的思考に QOUORIDOR（コリドール） QUARTO（クアルト） QUIXO（クイキシオ） MARRAKECH（マラ
『計量経済学』（末石本）はエコノメトリクスのエッセンスを「オールインクルーシブ」で簡潔にまとめた必読の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
計量経済学 ミクロデータ分析へのいざない 作者:末石 直也日本評論社Amazon データ分析業界の友人から「読んでみたら物凄く良かった」と勧められて買ったのが、こちらの一冊。同名の書籍は沢山あるので、ここでは著者の末石先生のお名前を取って「末石本」と呼ばせていただきますが、これが本当に物凄く良くて感嘆させられるばかりでした。 ということで、門外漢が書いて良いものかどうか迷うところですが簡単に書評をまとめてみました。特に操作変数法を中心とする因果推論・自然実験まわりの確かな知識を得たい人にはお薦めだということを最初に書き添えておきます。なお、いつもながらですが僕の理解があやふやなため書評の中には怪しい箇所もあるかと思いますので、お気付きの方はコメント欄なりでご指摘くださると幸いです。 本書の内容 第1章 線形回帰とOLS 第2章 操作変数法 第3章 プログラム評価 第4章 行列表記と漸近理論
統計検定準1級に受かるための勉強法・参考サイト
2022/02/15 初稿 2022/02/15 細かな修正 2022/04/20 一部リンク先の動画について注釈を追加 この度、無事に統計検定準1級に合格したので勉強法、参考にしたサイトなどを共有しようと思います。 バックグラウンド 非理数∧非情報系大学生 →高校数学は数学Ⅲまでできる。いわゆる大学数学は教養で軽く学んだ程度(偏微分、固有値ベクトルを求めるくらいはできる)。 機械学習に関しての予備知識は少しある。 統計WEB-BellCurveで2級範囲の内容は履修済みで2級に受かりそうな知識はあった。(自称) →過去問解いて合格できそうになったし今週末で2級申し込みするで～ →直前過ぎて無理ですと断られる →大学の試験期間に入る →気がつけば受けずじまい 件のワークブックが出版され、これがあるなら準1級いけるやろと思い初版で購入するも挫折 といったところです。 2021年12月の中頃く
統計検定1級の勝ち語り 統計検定1級に合格し、数理と応用の両方で優秀賞を取得したので勝ち語りをします。 4級・3級・2級・準1級・1級という区分を完全に無視して初手から最上位資格にいく賭けに出たが、大きく張った分だけリターンもデカい。 統計検定1級合格 いい暇潰しでした たいあり pic.twitter.com/QJ4pAY3clP — LW (@lw_ru) 2021年12月22日 受験を思い立ったのは6月に遡る。 部屋にトレーニング用ベンチでも置こうかと思って本の整理をしていたところ、昔大学で買わされた統計の教科書を発見した。一応読んでから捨てようとしたが、しかしこれも何かの縁だしついでに資格でも取っとくかと統計学の勉強をスタートした。 暇だし統計検定取っとくかみたいな感じはある 次資格取りたくなったら取ろう — LW (@lw_ru) 2021年6月9日 そこから試験のある11月まで
第7波のデータが公表されない問題点 : 岩本康志のブログ
12月5 第7波のデータが公表されない問題点 カテゴリ:COVID-19 弱毒化したCOVID-19が新型インフルエンザ等対策特別措置法（以下、特措法）の対象となるのかについて議論が起きている。こうした状況での運用が恣意的とならないように、特措法の対象となる条件はある程度明示的にあらかじめ法律に記されている。そして、「新型コロナウイルス感染症対策の基本的対処方針」（以下、基本的対処方針）では、条件が満たされることがデータに基づいて記載されてきた。 11月24日に持ち回りで開催された新型インフルエンザ等対策推進会議基本的対処方針分科会（以下、分科会）の議題である基本的対処方針の変更に対し、大竹文雄委員と小林慶一郎委員の意見書では、基本的対処方針の記述が第6波のデータのままで第7波に更新しておらず、それを更新すれば特措法の適用対象でなくなるのではないか、という意見が出された。 「現在、新型コロ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計学の講義資料(2022年度) | Logics of Blue
放送大学マイルストーン('23)｜lumpsucker
初学者からの統計学10冊（社会科学向き） - Qiita
無料で読める統計学・機械学習周辺のチュートリアル論文や講義ノート10本 - Qiita
統計検定1級に受かりたければこれをやれ - Qiita
【2023年版】機械学習の日本語無料学習教材まとめ - Qiita
ベイズ統計学を勉強する参考書のフロー - Qiita
日本語で学べるベイズ統計学の教科書10冊 - Qiita
人間が深層学習のAIを理解できないのには、理由がある：朝日新聞GLOBE＋
統計初学者が統計検定1級に合格する方法 - クルトンのプログラミング教室
95%信頼区間の「95%」の意味 - 渋谷駅前で働くデータサイエンティストのブログ
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
統計１級（医薬生物学）に合格した話 - i5882353iの日記
[数理統計学]統計的検定のまとめ – かものはしの分析ブログ
まえがき: 渡辺澄夫ベイズ理論の素晴らしさを多くの方に伝えたい | 機械学習の数理100問シリーズ
統計的検定とか有意とか考えれば考えるほど何もわからない - と。
平均への回帰：愚かな誤謬を惹き起こす美しきrandomness - 渋谷駅前で働くデータサイエンティストのブログ
Fisherだけに5%閾値の責任を負わせるのは少し酷な気がする - Tarotanのブログ
SE 2年目で読んだ技術書45冊+α - Qiita
21/12/27 統計検定1級とかいうゲームに勝利した - LWのサイゼリヤ