はじめにこの記事は、放送大学の（主に情報コースを中心とする）学生さん向けに、私の履修済み科目の感想と主観的評価を共有して、履修計画の参考にしていただくことを目的に作成しました。下記の記事の通り、2019年-2020年の2年間で情報コースの科目を8割方履修したのでそれなりの網羅性があるかと思います。 （2023年2月追記）その後、選科履修生として履修した他コースの科目や大学院科目などを追加して112科目掲載しています。試験難易度については履修時期によって会場試験・在宅ペーパー試験・在宅Web試験が混在しているので参考程度でお願いします。 タイトルは私が現役生の時に通っていた大学の似たような評価システムから拝借しました。 以下の科目は基本的にナンバリングが低い順に並べています。閉講済みの科目も混じっていますが、記録と後継科目の参考のために残しておきます。あくまで全て（上記の記事にある通り、文系
マクロ経済学という分野は、残念ながらもう所謂オワコンになってしまった。正しく言うと、実を言うとDSGEはもうだめです。突然こんなこと言ってごめんね。でも本当です。こんな感じだろう。 結論から言うと、データを見るふりをして実は全くデータを見ておらず、はっきりいってモデル化に失敗したからだ。とくに予測能力が兎角ないのが致命的だったと思う。予測能力がない結果、モデル・理論を通して将来の政策談義を結局は出来ないので、政策提言すらまともにできず、役立たずの烙印を押された。政策評価・提案等の役目は統計的手法を上手く用いている、応用ミクロの研究者が主に担うことになった。 そもそもの始まりは、合理的期待形成仮説というバカげた仮定に基づいて、数学音痴がmathinessにまみれたリアルビジネスサイクル(RBC)理論などという、さらにバカげた理論を推し進めた点であろう。それに呼応してニューケインジアンモデルが
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい
『マスターアルゴリズム』は全ての人々を機械学習（人工知能）の世界へといざなう「冒険物語」 - 渋谷駅前で働くデータサイエンティストのブログ
しましま先生(@shima__shima)こと神嶌敏弘先生から、訳書『マスターアルゴリズム』をご恵贈いただきました。 マスターアルゴリズム 世界を再構築する「究極の機械学習」 作者:ペドロ・ドミンゴス講談社Amazon 本書はビル・ゲイツが「AIを知るための本」と絶賛したという"The Master Algorithm"の邦訳版で、実際に「難しい理論や数式は書かれていないがこの一冊を読むだけで現代の機械学習（人工知能）の世界の全容を一望できる」優れた本だと個人的には感じました。また縦書き本ゆえいわば「読み物」的な立ち位置の書籍であり、研究者や技術者のみならずビジネスパーソンさらには一般の読書家にとっても読みやすく、尚且つ得るものの大きい一冊だと思います。 ということで、以下簡単にレビューしていきたいと思います。なお実は僕自身もしましま先生から発刊前の段階で翻訳内容の閲読を依頼されて一通り目
慶應義塾大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強するための参考書の順番 (私見) について紹介していきます． 3年ほど前に『日本語で学べるベイズ統計学の教科書10冊』を紹介しましたが，今回は「どのような順番でどの参考書を読んでいくと比較的スムーズに勉強が進められるのか」に焦点を当て，比較的最近の書籍や英語の書籍まで含めて紹介していきます． まずは全体的なフローのイメージを提示しておきます． 今回の記事では，「ベイズ統計学を勉強すること」のスタートとゴールを以下のように定めます． (スタート) 統計学の基礎的な内容 (統計検定2級程度の内容) は身についている (ゴール) ベイズモデリングに関する最新の論文がある程度理解して読め，自力でモデルを組んだり実装することができる また，このゴールへの道のりとして，大きく2通りのルートを想定します． (ルートA: フルスクラ
東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計学を勉強する上で個人的にオススメな日本語の教科書10冊を簡単に紹介したいと思います． 一般的な方法論・基礎理論 中妻照雄『入門ベイズ統計学』 簡単な例と実践的な例を使ってベイズ推論の考え方が導入された後，マルコフ連鎖モンテカルロ法(MCMC)の基礎的な事項がまとめられています．基本的な数理統計学が理解できていれば十分読める内容になっている印象です．この本の続編である中妻照雄『実践ベイズ統計学』では，ファクターモデルやそのポートフォリオ選択への応用，ベイズ的線形回帰モデル，モデル平均化法などのより発展した内容について丁寧に解説されています． 伊庭幸人・種村正美・大森裕浩・和合肇・佐藤整尚・高橋明彦『計算統計II』 かなりボリュームのある内容の本です．基本的な話題として，MCMCの基礎や標準的な統計モデルにおけるベイズ推論に関して数
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
はじめにこの記事は、文系出身の若手SIer社員が放送大学で情報学を勉強した記録です。主に似たような境遇の方への情報共有を目的に執筆しました。こんなやり方もある、という参考になれば嬉しいです。 簡単に自己紹介通信会社の名前が頭につくシステムインテグレータ（SIer）で、フロントエンドエンジニア兼UIUXデザイナーとして働いています。私立大学の文系学部を卒業後、研究留学を経て東京大学の学際情報学府という大学院で修士を取得し、2018卒として新卒入社して現在3年目ですそうこうしてるうちに5年目になりました。 大学院は広い意味での情報系ではあったものの、「社会情報学」と呼ばれる分野で、いわゆるコンピュータサイエンスではありませんでした（ICT4Dと呼ばれる国際開発学と情報学の合いの子のような分野の研究をしていました）。入社前には応用情報技術者試験にも合格し、何とかついていけるかなと思っていました。
東京大学・株式会社Nospareの菅澤です． 今回は状態空間モデルによる時系列予測手法を用いた因果効果の推定手法であるCausalImpactについて紹介します． CausalImpactとは CausalImpactはGoogleによって開発された因果効果推定の方法です．手法の詳細はBrodersen et al. (2015, AoAS)に記載されており，手法を実装したRパッケージも公開されています． CausalImpactは，ある介入が時間変化するアウトカムにどのような影響を与えるかを推定（推測）するための手法です．時間変化するアウトカム（時系列データ）に対して因果効果を推定する有名な方法としてDifference-in-Difference (DID)がありますが，DIDよりも緩い仮定のもとで時間変化する因果効果を推定できる方法として知られています． CausalImpactのコ
文字数が超えるため、本の画像をて削除しました。興味がある方は、元記事をご覧ください。 2019年データサイエンスにオススメの本80冊！ ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ #Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイ
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
2020年版：実務の現場で求められるデータサイエンティスト・機械学習エンジニアのスキル要件 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、昨年の同様のスキル要件記事のアップデートです。 正直言って昨年バージョンとの差分は殆どないのですが、一応この1年間の業界の進歩を踏まえて僅かながらアップデートしてありますので、ベースとなっているスキル要件についてさらっと概観した上で、差分となるアップデート部分について簡単にコメントしておこうかと思います。 なお、いつもながらの断り書きですが。言うまでもなく、この記事の内容はあくまでも僕の個人的な意見にして、なおかつ僕自身がこれまでの経験と見聞に基づいて「これまで自分が属してきた組織やチームにおけるデータサイエンティストや機械学習エンジニアはこうだったor今後はこうあって欲しい」という最大公約数的な経験談や願望を書き並べたものに過ぎません。よって何かの組織や団体の意見を代表するものではありませんし、況してやauthorizeされた意見として見
実践 時系列解析
時系列データが使われる範囲は広く、医療データ、金融分析、経済予測、天気予報など、さまざまな分野で使われています。本書は時系列データを通してデータ解析手法を学んでゆくアプローチで、データのクリーニング、プロットの方法、入出力など基本的なトピックについてひととおりカバーしてから、さまざまな分野の事例を数多く取り上げ、統計的手法と機械学習手法の両方を時系列データに適用し、また人気のオープンソースツールも積極的に取り入れた手法を紹介します。プログラムにはRとPythonの両方を利用。データセットやコードはGitHubからダウンロード可能です。 はじめに 1章 時系列の概論と簡単な歴史 1.1 時系列の多様な用途の歴史 1.1.1 時系列問題としての医学 1.1.2 気象予測 1.1.3 経済成長の予測 1.1.4 天文学 1.2 時系列解析の人気に火がつく 1.3 統計的時系列解析の起源 1.4
カルマンフィルターについて - Qiita
はじめに 千葉大学/Nospareの米倉です．今回はカルマンフィルターについて解説していきたいと思います． カルマンフィルターで何が出来るの？ フィルターとあるように，カルマンフィルターが出来る基本的なことは線形ガウス状態空間モデルのフィルタリング密度を逐次的に求めることです．ここで２つのキーワード，「線形ガウス状態空間モデル」と「フィルタリング密度」という単語が出てきましたので，まずはそれらについて解説します． 線形ガウス状態空間モデルとは 状態空間モデルとは2つの確率過程からなります．1つは潜在変数・状態変数・隠れ変数といわれるもので，これは直接観測できないがマルコフ連鎖に従う変数だとモデリングされます．例えば景気の良し・悪し等，概念として存在するけれど直接は観測できないものを想像してください．2つめは観測値で，これは直接観測できるもの，つまりデータです．ただし変数に依存して観測される
ベイズ統計・ベイズ機械学習を始めよう コンピュータやネットワークの技術進化により，これまでにないほどの多種多様なデータを取り扱う環境が整ってきました．中でも統計学や機械学習は，限られたデータから将来を予測することや，データに潜む特徴的なパターンを抽出する技術として注目されています．これらのデータ解析を行うためのツールはオープンソースとして配布されていることが多いため，初学者でも手軽に手を出せるようになってきています． しかし，データ解析を目的に合わせて適切に使いこなすことは依然としてハードルが高いようです．この原因の一つが，統計学や機械学習が多種多様な設計思想から作られたアルゴリズムの集合体であることが挙げられます．毎年のように国際学会や産業界で新たな手法が考案・開発されており，一人のエンジニアがそれらの新技術を１つ１つキャッチアップしていくのは非常に困難になってきています． １つの解決策
はじめに データ分析：実用系 Kaggleで勝つデータ分析の技術 ウェブ最適化ではじめる機械学習 データ分析：因果推論 入門 統計的因果推論 計量経済学 大人の教養 世界標準の経営理論 科学的に正しい筋トレ 最強の教科書 落合務のパーフェクトレシピ はじめに 今回は、特にドメインを指定せず、読むと間違いなく誰にでも勉強になるであろうと感じた書籍を紹介します。 データ分析：実用系 Kaggleで勝つデータ分析の技術 Kaggleで勝つデータ分析の技術 作者:門脇 大輔,阪田 隆司,保坂 桂佑,平松 雄司発売日: 2019/10/09メディア: 単行本（ソフトカバー） "Kaggleで勝つ"と題名にはありますが、データ分析、特に予測モデルを作るようなケースで重要な基礎知識が実践的に学ぶことができる非常に良い本となっています。例えば、交差検証といえば、基本的には汎化誤差の推定量として統計学の本に
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
はじめに 千葉大学/Nospareの米倉です．今回は僕が専門にしている計算機統計学・ベイズ統計学周辺で僕が勝手にお勧めだと思う教科書を10冊簡単なコメント付きで紹介したいと思います．初学者向けといより，修士・博士課程位のレベルのが多いので，ややプロ向けです． お勧めのプログラミング言語 僕は普段Julia言語を用いています．特徴は非常に高速なのと，可読性の高さでしょうか．個人的にはPythonやRより優れていると感じていて，僕の周りの専門家でも使っている人が多いです． Robert and Casella "Monte Carlo Statistical Methods" この分野のバイブルと言えばバイブルみたいな感じですが，そう呼ぶにはちょっと頼りない感じもします．けどモンテカルロ法に興味がある人はマストバイです．色々な種類のモンテカルロ法が網羅的に紹介されています． Efron and
データサイエンスエキスパート ゲームクリア 攻略チートシート配布 攻略指針 図書館を巡ってアイテム収集 図書館の初見殺しトラップ攻略 参考書籍 統計基礎 統計学（初歩） 統計学（高度） ベイズ統計 分散分析 数学基礎 線形代数 微積分 計算基礎 情報全般 データベース アルゴリズム モデリング・AIと評価 歴史・応用分野・AIなど 多変量解析 時系列解析 グラフィカルモデル テキスト分析 因果推論 機械学習・モデル評価・ニューラルネットワーク データサイエンスエキスパート ゲームクリア 日本統計学会が主催するデータサイエンスエキスパート試験に合格した。 www.toukei-kentei.jp データサイエンスエキスパートは、統計検定より実践寄りであるデータサイエンスシリーズの最上位資格という位置付け。下位資格には「データサイエンス基礎」や「データサイエンス発展」があるが簡単そうだったので
使える統計モデル10選（後編） 前回の記事では、使える統計モデル10選の前編として、主に回帰モデルに焦点を絞って紹介しました。 今回はその後編に当たる生成モデル編です。生成モデル（generative model）は、端的に言うと、コンピュータシミュレーションによりデータを人工的に作ることができるモデルです。データが作られる過程をうまく表現したモデルを構築することができれば、予測だけではなく異常検知やデータ圧縮など幅広いタスクに応用することができます。 生成系（教師なし系） 回帰モデルと同様、生成モデルも数個のパラメータから構成される簡単なものから、複数のモデルを巧みに組み合わせた複雑なものまで無限に存在します。ここでは、データ圧縮から自然言語処理、ソーシャルネット解析までさまざまなデータ解析のタスクで利用されている代表的な生成モデルを5つ選んで紹介します。また、生成モデルのすべては潜在変
ビッグデータの発展とともに、データサイエンスは今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、データサイエンティストを目指している人もたくさんいるでしょう。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ Part I: データサイエンス概論1.『データサイエンス講義 』Rachel Schutt、Cathy O'Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック』Foster Provost、Tom Fawcett著 本書は、データをビジネスに活か
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
以前、『結局、統計モデリングとは何なのか』という記事を書きました。 この記事は、その名の通り、「そもそも」何が統計モデリングで、何が統計モデリングではないのかということを扱った記事です。 今回は、「統計モデリングとは何か」を理解した方に向けて、実際に「統計モデリング力」を鍛えるためにはどうするかを書いていきたいと思います。 この記事の目的と対象者 上記でも述べたようにこの記事の目的は、どのように「統計モデリング力」を鍛えるかを書くことです。 統計学に入門するところから、高度な統計モデルを扱えるようになるまでの勉強法について書いています。 したがって、統計初心者からそれなりに理解している人までの幅広い層が想定読者となります。 ところどころで、プログラム言語で実際に手を動かしながら学ぶタイプの本を紹介することもありますので、そういった本を読むためにはPythonまたはRの知識が必要になります。
はじめに 東京大学・株式会社Nospareの菅澤です． 今回はベイズ統計を用いたデータ分析を実施する上で欠かせないマルコフ連鎖モンテカルロ法(いわゆるMCMC)をフルスクラッチで実装するためのトレーニング方法と，そのための参考書について紹介いたします． 最近ではstanのように，モデルと事前分布を記述するだけで汎用的にMCMCが実行できてしまう環境が整っていますが， そもそもMCMCがどういう流れで動いているのか理解する stanなどの汎用ツールがうまく使えない(orうまく動かない)場面に遭遇したときに自分の手で実装できるようにする ためには，標準的なモデルでMCMCをフルスクラッチで実際に組んだ経験が重要になってくると思います． 参考書について トレーニングのために私がオススメするのは以下の本です． J. Chan, G. Koop, D. J. Poirier, J. L. Tobia
結局、統計モデリングとは何なのか - Qiita
先日、つれづれなるままに 時系列分析の勉強法の記事『統計初心者が時系列分析を学ぶための勉強法』 を書き殴ってみたところ、反響の大きさに驚きました。 正直、時系列分析なんてかなりニッチな分野だ（3人ぐらいしか読まないだろう）と思ってたからです。 ステイホームしているみなさんが、暇だから時系列分析を使ってFXで一儲けしようとでも考えているんでしょうか。 時系列分析のトピックである、状態空間モデルも統計モデリングの一種なわけですが、本日は、「統計モデリングとは何なのか」について、あらためて考えてみたいと思います。 統計モデリングといえば、みんな大好き緑本『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』です。 緑本はたしかに素晴らしい本ですが、緑本を読んだだけでは、「何が統計モデリングで、何が統計モデリングではないのか」「統計学における
ぼくは医学統計学と疫学が専門です。これらのデータ解析には主にRを使います。 かれこれ15年ほどRを使ってきました。当時、Rに関するまとまった情報は『The R Tips』しかありませんでした。時は流れ、今はたくさんR本やサイトがあります。しかし、たくさんありすぎて何を見れば良いのか迷いますよね？ そこで、ぼくの経験に基づき、おすすめする有益なR本・サイトをまとめてみました！ RとRStudioの環境構築 矢内先生の「RとRStudioのインストール方法の解説」サイト 基礎（網羅的） Rではじめるデータサイエンス RユーザーのためのRStudio実践入門 The R Tips Rクックブック 宋先生の「Rプログラミング入門の入門」サイト データハンドリング特化 宋先生の「dplyr入門 (dplyr 1.0.0対応)」Webページ 宋先生の「tidyr入門」Webページ 可視化特化 Rグラフ
今年の10冊 - 備忘録
恒例のエントリーです。以下、順不同で。 ジェイン・ジェイコブス（香西泰訳）『市場の倫理 統治の倫理』 市場の倫理 統治の倫理 (ちくま学芸文庫) 作者:ジェイン ジェイコブズ発売日: 2016/02/09メディア: 文庫 traindusoir.hatenablog.jp ケネス・アロー（村上泰亮訳）『組織の限界』 組織の限界 (ちくま学芸文庫) 作者:アロー,ケネス・J.発売日: 2017/03/08メディア: 文庫 アローといえば、一般均衡理論におけるアロー＝ドブルー・モデルや「アローの不可能性定理」によって知られるが、本書では、（サイモンやウィリアムソンにみられるような）組織の経済学について主に論じられる。組織の経済学では取引費用の概念が中心を占めることが多いが、本書の議論で中心を占めるのは情報の不完全性やシグナルである。また、ジェイコブス『市場の倫理 統治の倫理』にある取引を可能に
[R] CausalImpact でできること, できないこと - ill-identified diary
概要Brodersen, Gallusser, Koehler, Remy, & Scott (2015) により提案され, R で実装された時系列因果推論フレームワーク, CausalImpact は, シンプルで分かりやすい difference in differences (DID) の因果推定理論に基づいており, マーケティングイベントがもたらすインパクトを計測するツールとして紹介されている. しかし, DID が非常にシンプルであれるのは, 厳格な仮定を置いているからであり, 利用する際には多くの注意が伴う. そこで今回は, より発展的な理論について考察したことを垂れ流してみる. あとついでに tsibble パッケージの使い方とかも少しだけ触れている. この問題は CausalImpact の考案以前からある議論についても振り返る必要があるので, まず Rubin (1974
![[R] CausalImpact でできること, できないこと - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/74171644a04868719f87b790d8c2ed5c7db604a5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20191009%2F20191009025251.png)
2つのブログを初投稿させていただいてから早いもので数週間。 自己紹介 - AIソリューションアーキテクトのおしゃべり データ活用人材とはどんな人々か - AIソリューションアーキテクトのおしゃべり 思っていた以上に反響があり、 「面白くて、あっという間に読めた」 「ブログとリアルのキャラが一致しなくて困惑した」 「怪しい壺が買いたくなった」*1 など、数々のご好評をいただきまして非常に感謝してます。 時系列解析って何か色々あってわかりません！(憤怒) さて、本日取り上げたいのは時系列解析。 最近では新型コロナウイルスの感染者数という大々的に報じられる時系列データがあるのでイメージしやすくなったかもしれませんが、手法自体を学んでみると何だか色んな名前が飛び交っていて訳が分からない人も多いのでは。 時系列予測の手法1つとっても 「状態空間モデルはベイジアンなんや、ベイズが一番や！」 「どんな時
【Python実装】LDAのトピックをParticle Filter（SMC）で推論 - ガシンラーニング
今回は、LDA（Latent Dirichlet Allocation）の逐次モンテカルロ法（Sequential Monte Calro）であるパーティクルフィルター（Particle Filter）によるトピック推論をPythonで実装しました。 コードは全てgithubに載せています。githubはこちら Twitterフォローよろしくお願いいたします。twitterはこちら 以下の書籍3.5章とこの書籍が参照している元論文を参考にしました。 Online Inference of Topics with Latent Dirichlet Allocation [Canini 2009]こちら こちらの書籍はトピックモデルに限らずベイズモデリング推論の良書です。 トピックモデルによる統計的潜在意味解析 (自然言語処理シリーズ) 作者: 佐藤一誠,奥村学 出版社/メーカー: コロナ社
この記事はBASE Advent Calendar 2019の20日目の記事です。 devblog.thebase.in DataStrategyの岡が担当します。 Prophet is 何？ ProphetはFacebook社製の時系列予測ライブラリです。RとPythonから利用でき下記gitで公開されています。 https://github.com/facebook/prophet 分析者仲間の間で「時系列予測ならまずこれを使っとけ」と言われるくらい高精度らしいのですが、私自身がイマイチ理論を把握してない & ググってもさらっとした解説の日本語ドキュメントしかない印象です。 Prophetの元となる論文は下記にて公開されています。 https://peerj.com/preprints/3190.pdf 冒頭だけ読むと、時系列分析の知見のない人でもドメイン知識を組み込みながら予測ができ
この記事について 著者の馬場真哉様より、2019年7月10日に講談社より発売の、「RとStanではじめる ベイズ統計モデリングによるデータ分析入門」をご恵投いただきました。ありがとうございます！！ www.kspub.co.jp 事前に献本をいただけるということを伺っていたので、その時から「ご恵投いただきました！」とTwitterで報告するだけでなく、簡単にでも読んでみた感想を書こうと決めていました。 まだざっと読んだ段階で、コードを実際に走らせてもいないのですが（もちろん後でじっくり読みながら実行します）、感想や関連書籍との比較をしていきたいと思います。 本記事の方針 本書の「はじめに」の部分やサポートページには、以下のような方を対象読者としていると書かれています。本記事も、そのことを念頭に書いていこうと思います。 統計学の基礎やベイズの定理などの基本事項を学んでみたものの、その有効性が
{CausalImpact}を使う上での注意点を簡単にまとめてみた - 渋谷駅前で働くデータサイエンティストのブログ
実はこのネタは元々別のところでやり取りのあった話題だったりします。 色々な都合があってここ最近{CausalImpact}に触れる機会が自分に限らず周囲でも増えているのですが、若い人たちから「そもそも{CausalImpact}って何をしているんですか？使う際は何に気を付けたら良いですか？」などと聞かれることがちょくちょくあるので、備忘録も兼ねてまとめてみることにしました。いつもながらですが、内容に不備や誤解や理解不足がありましたらどしどしご指摘くださいm(_ _)m なお、{CausalImpact}パッケージそのものの簡潔な説明は随分昔に書きました。単純に使いたいだけならこちらの記事をお読みいただければ十分かと思います。 {bsts}をバックエンドとして動く、統計的因果推論を目的としたcounterfactual modelingフレームワーク どのようにcounterfactual
Marketing-Mix-Modeling（MMM）に関する所感や問題意識について - Leverages データ戦略ブログ
目的と背景 レバレジーズのデータ戦略室で室長をしている阪上です。 今回は、最近仕事で使うことがあり、調べているMarketing Mix Modeling（MMM）について簡単に紹介したいと思います。この分野に関して、あまり国内で盛り上がっていないように感じたため、僭越ながら少しでも関心を持つ方が増えることを願って記しました。 今回は具体的に自社でどのような分析を行ったかについては記しておりませんが、今後、別の記事で用意したいと思います。 MMMとは Marketing Mix Modeling（MMM）は各種メディアへの支出が、企業の売上にどのように影響を与えるのかを理解するために、あるいは最適なメディア投資を行うための支出の配分を決めるために使われます。主に回帰分析などの手法を用いて、時系列データである売上を同じく時系列データである各種メディアのインプレッションなどで説明づけるというア
ビッグデータの発展とともに、さまざまな分野の研究がデータ駆動型に変わってきて、データサイエンスも今広く知られるようになりました。大学にデータサイエンスを学べる学部ができたり、講座やコースなども多く開催され、データサイエンティストを目指している人もたくさんいます。この記事では、統計学から機械学習やマーケティングまで、初心者がデータサイエンスを学ぶのにおすすめの本を80冊紹介します！ Part I: データサイエンス概論 1.『データサイエンス講義 』Rachel Schutt、Cathy O’Neil 著 本書では、データサイエンスを行う上で、どのようなプロセスが必要か、データサイエンティストとしてはどのようなスキルセットが必要で、どのような思考方法を選択する必要があるのかを実例を多数示しながら紹介します。 2.『戦略的データサイエンス入門 ―ビジネスに活かすコンセプトとテクニック』Fost
初心者から経験者まで「AIの作り方」を徹底解
初心者から経験者まで「AIの作り方」を徹底解説 機械学習や深層学習（ディープラーニング）技術を利用した製品が登場したり、ビジネスでの活用が模索されるなかAIという存在が世の中にだいぶ浸透してきました。技術者や分析職でAIに関心がまったくないという方はほとんどいないのではないでしょうか。 しかし、AIの作り方や開発方法となると多くの方が知らないと思います。AIという言葉だけでも難しいイメージがありますし、人工知能は大学の研究者や先端企業が取り組む難解なテーマでもあります。 そのため、個人開発でAIを作るってかなり大変じゃないの？と考える方も多いのではないでしょうか。確かに、まったくの初心者にとってプログラムは大変かもしれませんが、その手前の簡単なAIを試しに動かしてみることはそれほど難しくありません。 この記事では、「自分でAIを作ってみたい」というあなたのために、ごくごく初歩的な内容から、
この記事では、状態空間モデルをStanで推定するときの収束を良くするコツを説明します。 コードはGitHubから参照できます。 状態空間モデルは説明能力が高く、データに合わせて柔軟に構造を変えることができます。しかし、あまりに複雑な構造を指定すると、結果が収束しないこともしばしばあります。 収束が悪い時には、弱情報事前分布を指定したり、MCMC実行時の設定を変える(iterやwarmupを増やす等)で対応することが多いと思います。こちらの方法で多くの場合は解決しますが、複雑なモデルですと、そもそものStanコードの実装の方法から変えた方が良いかもしれません。 この記事では、状態空間モデルの収束を良くするために、Stanコードの書き方を工夫するやり方を紹介します。 良いやり方は無いかなと調べていたところ『Bayesian structural time series modeling』という
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
放送大学マイルストーン('23)｜lumpsucker
若き統計学者の英国: いかにしてマクロ経済学はオワコンになったか
ベイズ統計学を勉強する参考書のフロー - Qiita
日本語で学べるベイズ統計学の教科書10冊 - Qiita
文系出身の若手SIer社員が放送大学で情報学を勉強してレベル上げした話｜lumpsucker
状態空間モデルを用いた因果効果の推定: CausalImpact - Qiita
データサイエンスにオススメの本80冊！ - Qiita
ベイズ統計・ベイズ機械学習を始めよう | AIdrops
（データを扱う）ビジネスマン全てにおすすめの本 - HELLO CYBERNETICS
計算機統計学・ベイズ統計学周辺でのお勧めの教科書10冊 - Qiita
23/7/5 データサイエンスエキスパート合格 チートシートと攻略ガイド - LWのサイゼリヤ
使える統計モデル10選（後編） | AIdrops
2021年データサイエンスにオススメの本80冊！｜Octoparse Japan
統計学・機械学習を自分なりに概観してみた - Qiita
統計初心者が統計モデリング力を鍛えるための勉強法 - Qiita
MCMCをフルスクラッチで実装するトレーニング方法 - Qiita
データ解析に役立つおすすめR本とサイトをまとめました。 - Open Box with STAT
時系列解析に散った子羊たちへの鎮魂歌 - AIソリューションアーキテクトのおしゃべり
Prophetのモデル式を1から理解する - BASEプロダクトチームブログ
「RとStanではじめる ベイズ統計モデリングによるデータ分析入門」書評 - nora_goes_far
【初学者向け】データサイエンスにオススメの本80冊！ | Octoparse
状態空間モデルをStanで推定するときの収束を良くするコツ | Logics of Blue