ABEJA Advent Calendarの10日目です。 はじめにのはじめに 以下は、あくまでテストデータで上手く行ってるよという話で、本当にこれをやったら儲かるかというと、まだまだわかりませんのであしからず！あとネタがネタだけに、今回のはあくまで個人のやってみた記録であり、組織の取り組みとは関係ありません。 はじめに お金が欲しい！無限に寿司が食いたい！株で儲けたい！ 研究やエンジニアリングをしながら生きてく上で、将来のキャリアや技術スタックについて日々考えてるんですが、よくよく原点に立ち返るとそもそも技術スタックとかどうでもよくて、好きなものを作って漫画読んで生きていきたいんです。つまり結局、世の中は金なんですよね金。なので、何とかして寝てても圧倒的に儲かる仕組みを作りたい！そんな気持ちで私利私欲のために機械学習を使ったという記録です。 以下は、今回紹介する方法で実験したテストデータ
全くのゼロから「駆け出しデータサイエンティスト」を育てる方法論 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 「データサイエンティスト」の第一次ブーム勃興から6年余り、人工知能ブームに便乗した第二次ブームで人口に膾炙してから3年余り、気が付いたら何やかんや言われながらもデータサイエンティスト及びその類似職が、じわじわと日本国内の産業各分野・企業各社に広まりつつあるように僕の目には映ります。 そういう背景がある中で、ここ1年ぐらいの間にそこかしこで目立つようになってきたのが「ゼロからデータサイエンティストを育てたいのだがどうしたら良いか」という相談や議論。割とあるあるなのが「取引先がデータサイエンティストを採用して商談の席に同席させるようになって、彼らがデータサイエンスの知識を駆使してビシバシ突っ込んでくるのだが、こちらにデータサイエンティストがいないので対応できない」みたいなお話。これは実はUSでも同様だと聞くので*1、案外洋の東西を問わない課題なのかもしれま
2023年版：実務データ分析を手掛けるデータサイエンティスト向け推薦書籍リスト（初級6冊＋中級8冊＋テーマ別15冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by wal_172619 from Pixabay) 去年で恒例の推薦書籍リストの更新は一旦終了したつもりだったんですが、記事を公開して以降に「これは新たにリスト入りさせないわけにはいかない！」という書籍が幾つも現れる事態になりましたので、前言撤回して今年も推薦書籍リストを公開しようと思います。 初級向け6冊 実務総論 データサイエンス総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別15冊 回帰モデル PRML 機械学習の実践 Deep Learning / NN 統計的因果推論 ベイズ統計学 時系列分析 グラフ・ネットワーク分析 データ基盤 コメントや補足説明など 完全なる余談 初級向け6冊 今回は新たに加わったテキストがあります。 実務総論 AI・データ分析プロジェクトのすべて[ビジネス力×技術力＝価値創出
実務の専門家として機械学習や統計分析を手掛けたい人にオススメの書籍初級5冊＆中級8冊＋テーマ別11冊（2020年2月版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は以下のオススメ書籍リスト記事のアップデートです。 毎回の断り書きで恐縮ですが、この記事では「データサイエンティストや機械学習エンジニアなどデータ分析の実務の専門家として」*1機械学習や統計分析を手掛けていきたいという、主に初級ないし中級ぐらいのスキルレベルの人たちにお薦めしたい書籍を、初級向け5冊・中級向け8冊及び細かいテーマ別に11冊、それぞれ挙げていきます。スタンスとしては相変わらず「当座の最終到達点を『中級』に置いた時に最初に読んで内容をマスターしておくべき書籍」を初級に置いているので、世の中のこの手のお薦め書籍リストに比べると若干ハードな内容のものが初級向けに多いかもしれません。 後はちょっと気が早いかもしれませんが、機械学習パートに関しては「AutoML時代にあっても実務の専門家であれば知っておくべき知識」を収めた書籍を選んでおきま
『標準ベイズ統計学』はベイズ統計学をきちんと基礎から日本語で学びたいという人にとって必携の一冊 - 渋谷駅前で働くデータサイエンティストのブログ
標準 ベイズ統計学 朝倉書店Amazon 発刊当時に話題になっていた『標準ベイズ統計学』。実は訳者のお一人、菅澤翔之助さんからオフィス宛てでご恵贈いただいていたのですが、親父の没後処理やら自分のDVTやら実家の片付けやらで全く手が回らずオフィスに置いたままにしてしまっていたのでした。で、この度改めて拝読してみたら「何故もっと早く読まなかったんだ」と後悔するくらいあまりにも内容が素晴らしかったので、遅まきながら書評記事を書こうと思い立った次第です。 ベイズ統計学というと、殆ど詳しくない人だと「ベイズの定理以外に何があるの？」という印象ぐらいしかないかもしれませんし、一方でとりあえず技法としてやり方だけ覚えてしまった人だと「とりあえずMCMC回せばいいんだよね？」みたいな雑な理解になってしまうかもしれません。いずれにせよこれまで邦書ではベイズ統計学というと超初歩か実装重視かの二択が多かったせい
「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
2024年版：独断と偏見で選ぶ、データ分析職の方々にお薦めしたいホットトピックス＆定番の書籍リスト - 渋谷駅前で働くデータサイエンティストのブログ
毎年四の五の言いながら書いている推薦書籍リスト記事ですが、何だかんだで今年も書くことにしました。なお昨年度版の記事を上にリンクしておきましたので、以前のバージョンを読まれたい方はそちらをお読みください。 今回のバージョンでは、趣向をちょっと変えて「定番」と「注目分野」というように分けました。何故こうしたかというと、平たく言って 「初級＆中級向け」推薦書籍リストは定番化していて毎年あまり変更点がない 逆に直近のホットトピックスに関するテキストは毎年入れ替わりが激し過ぎて網羅しづらい という課題があり、特に2点目についてはあまりにもデータサイエンス関連書籍の新規刊行が多過ぎる＆僕自身がその流れについていけておらず完全に浦島太郎状態ですので、万人向けに等しくウケるようなリストを作るのは今回をもって完全に諦めたというのが実態です。 その上で、前回まで踏襲されていた定番書籍リストはバルクで提示すると
2019-nCoVについてのメモとリンク
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 ワクチン関係 変異株関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月3
2021年版：データサイエンティストを初めとするデータ分析職向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pexels from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、昨年はCOVID-19の影響で*1データ分析業界及び隣接分野の新刊書を読む機会が減ってしまいましたので、例年に比べてラインナップの変更をほとんど検討しないままでリストアップしている点、予めご容赦いただければと思います。 そして今回の記事では、これまで以上に「実務家向け」「実践的」であることを重視しています。そのため昨年までのリストに比べて大幅に刷新されているカテゴリもあったりします。また、末尾に僕なんぞが選ぶよりもずっと優れた推薦書籍リストへのリンクも付しておきました。併せて参考にしていただけると幸いです。 初級向け5冊 総論 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 PRML 機械学習の実践 Deep Learning 統計的因果推論
2020年版：実務の現場で求められるデータサイエンティスト・機械学習エンジニアのスキル要件 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、昨年の同様のスキル要件記事のアップデートです。 正直言って昨年バージョンとの差分は殆どないのですが、一応この1年間の業界の進歩を踏まえて僅かながらアップデートしてありますので、ベースとなっているスキル要件についてさらっと概観した上で、差分となるアップデート部分について簡単にコメントしておこうかと思います。 なお、いつもながらの断り書きですが。言うまでもなく、この記事の内容はあくまでも僕の個人的な意見にして、なおかつ僕自身がこれまでの経験と見聞に基づいて「これまで自分が属してきた組織やチームにおけるデータサイエンティストや機械学習エンジニアはこうだったor今後はこうあって欲しい」という最大公約数的な経験談や願望を書き並べたものに過ぎません。よって何かの組織や団体の意見を代表するものではありませんし、況してやauthorizeされた意見として見
ホクソエムサポーターの白井です。 今回は Matthew McAteer氏によるブログ記事Nitpicking Machine Learning Technical Debtの和訳を紹介します。 原著者の許可取得済みです。 Thank you! アメリカの国内ネタも含んでいて、日本語だと理解しにくい箇所もありますが、機械学習の技術的負債をどう対処していくかについて、とても役に立つ記事だと思います。 Nitpicking Machine Learning Technical Debt (機械学習の技術的負債の重箱の隅をつつく) イントロダクション Part1 技術的負債はあなたの予想以上に悪い Part2 機械学習の漠然とした性質 Part3 (通常の依存関係の頂上にある) データ依存関係 Part4 イライラさせるほど未定義なフィードバックループ 後編に続きます Nitpicking Ma
ふと思い立ってこんなアンケートを取ってみたのでした。 頻度主義統計学における「95%信頼区間」の95%というのは、以下のどちらだと思いますか— TJO (@TJO_datasci) 2021年7月16日 結果は物の見事に真っ二つで、95%信頼区間の「95%」を「確率」だと認識している人と、「割合」だと認識している人とが、ほぼ同数になりました。いかに信頼区間という概念が理解しにくい代物であるかが良く分かる気がします。 ということで、種明かしも兼ねて95%信頼区間の「95%」が一体何を意味するのかを適当に文献を引きながら簡単に論じてみようと思います。なお文献の選択とその引用及び解釈には万全を期しているつもりですが、肝心の僕自身が勘違いしている可能性もありますので、何かしら誤りや説明不足の点などありましたらご指摘くださると有難いです。 頻度主義において、95%信頼区間の「95%」は「割合」を指す
一般的な時系列のモデリング＆予測に、機械学習系の手法よりも古典的な計量時系列分析の方が向いている理由を考えてみた（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
この記事は、以下の@icoxfog417さんによる問題提起に合わせたちょっとした実験をまとめたものです。 時系列予測の問題において、機械学習のモデルより既存の統計モデル(ARMAモデルなど)の方が予測精度において優良な結果が出るという研究。データへの適合=予測精度の向上ではないことも実験で示している。機械学習の研究では統計モデルとの比較も入れるべきという提言をしている。 https://t.co/jboGhYSX6E— piqcy (@icoxfog417) September 16, 2019 この点について僕はこんなコメントをしたのですが。 だいぶ以前から「一般的な時系列データ予測の問題は単位根過程や季節調整など非定常過程との戦いなので、本質的に定常過程を想定する機械学習手法での予測は計量時系列分析など非定常過程も考慮した古典的なモデルによる予測には及ばない」と言い続けてきたけど、やっ
データサイエンティスト・機械学習エンジニア・データアーキテクトの定義とスキル要件（2021年版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Dirk Wouters from Pixabay) この記事は毎年恒例のスキル要件記事の2021年版です。昨年版は以下のリンクからご覧ください。 今回は、試験的に「データアーキテクト」についても触れています（詳細は後述）。残り2つの職種については基本的な内容はそれほど大きくは変わっていませんが、先般公開した推薦書籍リスト記事の時と同じ変更点が一つだけあります。それは「機械学習エンジニアのスキル要件」は今回は想定していない（というか例示できない）という点です。これまた詳細は後述しますが、端的に言えば「分野ごとの細分化が過剰に進んでいる」という印象があるためです。 ということで、前回までとは違って「職種ごと」に定義とスキル要件（書けるようであれば）を挙げていくスタイルになっています。なお、言わずもがなですが以下に挙げる3職種の説明は僕個人のこれまでの経験や見聞や伝聞をもと
こんにちは，株式会社Nospare・千葉大学の小林です．本記事ではGelman and Vehtari (2020)の`What are the most important statistical ideas of the past 50 years?'について紹介します．この論文は過去50年において最も重要だとされる次の8つのアイディアが取り上げられています． 8つのアイデア 反事実（counterfactual）に基づく因果推論 ブートストラップとシミュレーションに基づいた推論 オーバーパラメータ（overparameterized）モデルと正則化（ガウス過程，Lasso, horseshoe, ベイズnonparametric priorなど） ベイズマルチレベル（階層）モデル 汎用的な計算アルゴリズム（EM, MCMC, SMC, HMC, 変分法など） 適応的決定分析（ベイズ最
第一位 Focal Loss for Dense Object Detection 物体検知のためのFocal Loss これは不均衡データに対処するための損失関数Focal Lossを提案した論文なのですが, とにかくそのシンプルさにやられました. 画像のFLの式を見てください. たったこれだけです. ptは正解ラベルに対する予測値なのですが, ptが大きければ大きいほど損失値をしっかり抑えられるように設計された関数となっています. 正解ラベルに対して0.6と予測するサンプルを学習に重要視せず, 0.3とか0.1とか予測しちゃうサンプルにしっかりと重要視するのです. 自分も7月くらいまでは不均衡データに関する研究していたのですが, 自分が考えた多くのアイディアが結局Focal Lossの下位互換に帰結してしまうのです. しかもこの損失関数の汎用性は非常に高く, あらゆるタスクに入れること
これは何 データマネジメント・データ分析に関する書籍・記事・ツールをまとめます。 特に価値が高いと思う書籍・記事を上に並べています。 どのような分野が存在するのか概観します。 全て読むのは大変なので、興味があったり業務に関連のある分野から目を通しましょう。 対象読者 データ分析をやってみたいが何から手をつければいいのかわからない人 書籍 webに転がっている記事は断片的です。 まずは書籍を読んで体系だった知識を仕入れて、その後にwebの記事で肉付けするのをおすすめします。 データ分析全般 データ解析の実務プロセス入門 https://www.amazon.co.jp/dp/4627817711/ データマネジメント データマネジメントが30分でわかる本 https://www.amazon.co.jp/dp/B085W4YSZJ 実践的データ基盤への処方箋 https://www.amaz
データサイエンティスト（及び他のデータ関連職）のスキル要件（2022年版） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by mohamed_hassan from Pixabay) この記事は毎年恒例のスキル要件記事の2022年版です。昨年版は以下のリンクからご覧ください。 最初に正直に書いておくと、スキル要件自体は昨年版までとほぼ一緒で、大きなアップデートはありません。今回はまず最初に3職種の定義とスキル要件を並べた上で、それに解説を付すという形にしようと思います。 データサイエンティスト 定義 スキル要件 機械学習エンジニア 定義 スキル要件 データアーキテクト 定義 スキル要件 コメントなど 最後に データサイエンティスト 第一次ブームからそろそろ10年になりますが、この「データサイエンティスト」という語だけは変わらず生き残っているところを見るに、依然として期待も幻想も含めて注目され続けている職種といっても過言ではないでしょう。ただし、10年かけて多種多様な業界に浸透していったことで、
『RとStanではじめるベイズ統計モデリングによるデータ分析入門』は「みどりぼん」に取って替わる次世代の統計モデリング＋ベイジアン入門書 - 渋谷駅前で働くデータサイエンティストのブログ
ここ2ヶ月ぐらいに渡って多くの方々からご著書をご恵贈たまわっているのですが、そのうちの一冊がこちら。かつて計量時系列分析を学んでいた頃に僕も大変お世話になった、Logics of Blueブログの馬場さんの手による『RとStanではじめるベイズ統計モデリングによるデータ分析入門』です。 実践Data Scienceシリーズ RとStanではじめる ベイズ統計モデリングによるデータ分析入門 作者:馬場 真哉出版社/メーカー: 講談社発売日: 2019/07/10メディア: 単行本 以前はベイズ統計モデリングの入門書というと「みどりぼん」こと『データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)』一択でしたが、皆さんもご存知のように既にメンテされていないWinBUGSを使っているなどout-of-dateな要素が多く、近年はこれに替わる良書
2022年版：実務の現場で働くデータサイエンティスト向け推薦書籍リスト（初級5冊＋中級8冊＋テーマ別14冊） - 渋谷駅前で働くデータサイエンティストのブログ
(Image by ElasticComputeFarm from Pixabay) 今年も恒例の推薦書籍リストの季節がやって参りました。……なのですが、相変わらず続くCOVID-19の影響*1でデータ分析業界及び隣接分野の新刊書を読む機会が減ったままにつき、例年とほぼ同じラインナップになっている点、予めご容赦いただければと思います。 初級向け5冊 総論 R・Pythonによるデータ分析プログラミング 統計学 機械学習 中級向け8冊 統計学 機械学習 テーマ別14冊 回帰モデル PRML 機械学習の実践 Deep Learning 統計的因果推論 ウェブ最適化 ベイズ統計 時系列分析 グラフ・ネットワーク分析 SQL コメントなど 初級向け5冊 初級向け書籍リストはあまり出入りがないのが通例ですが、今回も微妙に入れ替わりがあります。 総論 AI・データ分析プロジェクトのすべて[ビジネス力×
世の中のみんなを1つの部屋に放り込んでうまくいくわけがない 5年前，同僚の Dayv といっしょにビールを1杯やってたときのことだ．ぼくは Twitter をぐりぐりスクロールしながら，ドナルド・トランプの最新暴挙にみんなが憤慨してるのをしげしげと眺めて，こんなことを言った．「あのさ……15年前，インターネットは現実世界からの逃避先だったじゃん．いまは，現実世界の方がインターネットからの逃避先だよね．」 すると Dayv が，「それ，ツイートしなよ！」 ――で，そうした．この凡庸な所見が，ものすごくウケた．他のどのツイートよりも人気だ．ウェブのあちこちのコンテンツ工場で，これが無限に引用されつづけてる． あの他愛ない所見が，どうしてここまでたくさんの人たちに響いたんだろう？ いま，インターネットから逃げ出す必要が感じられる理由は，わかりやすい．スマートフォンによって，インターネットが物理的
機械学習の実験管理ツールにGuild AIというものがあります。特に大きな特徴はコード追加なしで実験管理ができるというものです。 試しに触ってみたところ、まさにコード追加なしで簡単に試せる、ちょっとした条件を変えた実行も簡単、結果の可視化はシンプルなCLIもリッチなGUIもどちらも用意されている、ローカルだけではなくS3にもデータを保存できる、しかもWebサーバを別に立てる必要がなく手元の環境で完結します。 ただ、Guild AIは一部の方にSNS上で言及されているものの日本語で書かれたドキュメントやブログは見つかりませんでした。良いツールが埋もれるのはもったいないと思いGuild AIの記事を書くことにしました。 この記事の前半では実行条件を変えながら実行して結果を可視化するまでの流れを紹介します。Guild AIのお手軽さをお伝えすることを意識しました。 後半はある程度実務での状況を想
尤度とはなんだったのか
TL;DR Ubie という会社で働いていて尤度とかを改めて見直す機会があったのでブログにまとめておく 尤度主義のような、自然と使っていたが明示的には知覚できてなかったものの存在を知った 主義や哲学に関しても言及するが、それらの良し悪しについて述べるものではない 4/1 から Ubie という会社に入社して、データ分析的な仕事やコードを書いたり楽しく働いている。 保有するデータのそのものが面白くて、今のところ主にこれを改善していくところに関わっていて、機械学習的な内容はあまりやっていない。 仕事をしていると尤度とかよく使うが、使っているうちにこれまで雑に理解してた部分が散見されたので、そもそも尤度とはなんだったのかをちょっと復習している。 色々調べていくとだいぶ広くて深いところに入り込んでしまいそうになるので、現在の理解を一部ブログにて整理しておこうというのがこのエントリである。 技術的に
マーケティング担当者にとって、より多くの新規顧客を開拓し、既存顧客のエンゲージメントを高めることが何よりも重要となります。 データを使うとより効率的に、顧客セグメントを発見しそれぞれの顧客に合ったプロモーションを行ったり、自社サービスを購入される可能性の高い見込み顧客に的を絞った効果的なマーケティング活動を実行していくことができるようになります。 しかし、いざデータを活用し始めようとすると困るのが、そもそもどういった分析手法を使えば良いのかわからないということです。 そこで、マーケティング担当者が使いこなせるようになるべき5つの分析手法を、どのようなシーンで利用できるかという例を使って紹介します。 5つの分析手法 今回は、以下の5つの分析手法と、それぞれのアナリティクスがどのような目的で利用できるのかを紹介します。 1. 相関分析: 自社にとっての最適な顧客層を見つける 「相関」とは、2つ
2つのブログを初投稿させていただいてから早いもので数週間。 自己紹介 - AIソリューションアーキテクトのおしゃべり データ活用人材とはどんな人々か - AIソリューションアーキテクトのおしゃべり 思っていた以上に反響があり、 「面白くて、あっという間に読めた」 「ブログとリアルのキャラが一致しなくて困惑した」 「怪しい壺が買いたくなった」*1 など、数々のご好評をいただきまして非常に感謝してます。 時系列解析って何か色々あってわかりません！(憤怒) さて、本日取り上げたいのは時系列解析。 最近では新型コロナウイルスの感染者数という大々的に報じられる時系列データがあるのでイメージしやすくなったかもしれませんが、手法自体を学んでみると何だか色んな名前が飛び交っていて訳が分からない人も多いのでは。 時系列予測の手法1つとっても 「状態空間モデルはベイジアンなんや、ベイズが一番や！」 「どんな時
こんにちは。4月に24新卒として入社しました、技術本部 研究開発部の金髙です。大学院では政治学の研究をしていました。 本記事では、筆者が2024年2月から約1カ月間の内定者インターン時代に取り組んだ内容の一部である「ベイジアン操作変数法を用いたA/Bテスト」について紹介します。 背景 なぜA/Bテストで操作変数法なのか？ Encouragement design One-sided Noncompliance なぜA/Bテストでベイズなのか？ ベイジアン操作変数法 データ生成過程 事後分布 LATEの事後分布推定 シミュレーションしてみる おわりに References 背景 筆者が現在所属している研究開発部のチームでは、データドリブンな意思決定やデータ活用促進を目標に掲げています。その一環として、A/Bテストを積極的に行っており、筆者は中でも「Sansanモバイルアプリ内訴求」に関するA
PyMC-MarketingによるBayesian Marketing Mix Modeling - Qiita
この記事は確率的プログラミング言語 Advent Calendar 202317日目の記事です。 ゼミで勉強したStanとRでベイズ統計モデリング（通称：アヒル本）著者である @hankagosa 氏の開催するアドベントカレンダーに参加でき嬉しく思います。このような機会を用意していただきありがとうございます。 それでは本題に入ります。 はじめに 2023/4/6にPyMC-Marketingが発表されました。PyMCの派生ライブラリでマーケティング領域に特化しています。 PyMC Labs is excited to announce the initial release of PyMC-Marketing. Unlock the power of marketing analytics with PyMC-Marketing – the open source solution for
Lightweight MMM：NumPyroで実装されたベイジアンMMMフレームワーク - 渋谷駅前で働くデータサイエンティストのブログ
以前「Ads carryover & shape effects付きのMedia Mix Modeling」という記事で取り上げたベイジアンMMMのtechnical report (Jin et al., 2017)ですが、当時RStanで実装されていたものが4年の時を経て時代の趨勢に沿う形でPythonベースのOSSとしてリリースされています。 それがLightweight MMM (LMMM)です。ベイジアンモデリング部分はNumPyroによるMCMCサンプラーで実装されており、さらにはモダンなMMMフレームワークにおいて標準的とされる予算配分の最適化ルーチンも実装されています。全体的な使い勝手としては、まだ開発途上の部分もあるので時々痒いところに手が届かない感があるものの、概ねRStanで実装したものと似たような感じに仕上がっているという印象です。 ということで、LMMMがどんな感
TensorFlow Probabilityを試してみる(1): 定番のEight SchoolsのモデリングをRStanと比較する - 渋谷駅前で働くデータサイエンティストのブログ
先日の記事でも書いたように、どうもここ最近RStan周りの環境が色々厳しくなっている気がしていて、仮にRStanが今後環境面での不具合やミスマッチなどで使えなくなったらベイジアンモデリングやれなくなって困るかも。。。という危惧を最近抱きつつあります。 そこで代替手段として思いつくのが、JAGS, PyMC, PyStan, そしてTensorFlow Probability (TFP)。TFPを挙げたのは完全に身贔屓なんですが（笑）、Pythonで回せるものとして近年注目を集めているフレームワークとしては筆頭に近いのではないかと思います。ということで、贔屓の引き倒しみたいになりそうですが今回含めてちょっと連続してTFPでRStanと同じことをやってみる、というただそれだけの備忘録的な記事をだらだらと書いていこうと思います。 いつもながらですが、僕はコーディングに関してはド素人ですので間違っ
回帰分析(新装版) (統計ライブラリー) 作者:隆光, 佐和朝倉書店Amazon タイトルに「古典的名著」とうたっておきながら、実は米倉さんのツイートで紹介されるまで浅学にして全然存じ上げなかったんですが、いざ読んでみたらあまりにも素晴らしい内容だったので、その感動を伝えたいがためにわざわざこの記事を書いています（笑）。 ちなみに今現在、訳あってこちらの論文とその実装を相手にしなければならない状況で、関連してそもそも論としての「回帰分析の取り扱い方」を改めて紐解く必要があり、その点でも本書は大いに役立っている感があります*1。ということで、個人的に本書が「実際に役立った」と感じた点を適当にピックアップして紹介していこうと思います。 本書の概要 個人的に優れていると感じた点など OLS線形回帰モデルが前提とする仮定が端的にまとまっている 線形回帰モデルの前提に「合わない」場合の対処法もまとま
あの「モンティ・ホール問題」で当選率33％が66％になる理由が分かり、生き上手になれる「ベイズの定理」の基礎知識
AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。前回は「確率・確率分布」について学びました。今回のテーマである「ベイズの定理」は、そのもう少し高度な内容といえます。ぜひ、前回記事も併せてお読みください。 ベイズってどんな人？ トーマス・ベイズ（Thomas Bayes）は1702～1761年に実在したイギリスの人物です。彼の肩書は異色で、牧師でありながら数学者でもあります。そんな彼は「神の存在を方程式で説明できる」と主張したそうです。ベイズは牧師として活動する傍ら研究を重ね、後に解説する「ベイズの定理」を含む「ベイズ理論」を考案したという偉業を成しています。 ところが、その偉業はベイズの死後である1764年にRプライス（生命保険の創始者の一人）によって発見されました。その後、偉大な物理学者
2019-nCoVについてのメモとリンク（中澤港）
リンク集目次 国内外の状況 政府機関・国際機関等 学術情報 疫学論文 分子生物学／ウイルス学論文 臨床論文 インフォデミック関係 時系列メモ目次 新型コロナウイルス（2020年1月6日，11日） インペリグループによる患者数推定（2020年1月18日） 患者数急増，西浦さんたちの論文（2020年1月20日，23日） WHOはPHEIC宣言せず（2020年1月23-24日） 絶対リスクと相対リスク（2020年1月26日） 研究ラッシュが起こるかも（2020年1月27日） なぜ新感染症でなく指定感染症なのか？ なぜ厚労省令でなく閣議決定なのか？（2020年1月27日） コロナウイルスに対する個人防御（2020年1月27日） 国内ヒト＝ヒト感染発生（2020年1月28日） フォローアップセンター設置，緊急避難等（2020年1月29日） PHEICの宣言（2020年1月31日） 新感染症にしておけ
この記事の目的と対象者 この記事は、統計をほとんど勉強したことがない人が、立派に「ベイズ統計」というナウでヤングな統計学について語れるようになるまでの道標を示します。 ドヤ顔でベイズ統計について正しいことを語れるようになる、統計に詳しい人とがガッツリ議論できるようになるぐらいまでがこの記事のゴールです。 この記事の勉強をしたところでベイズ統計を使いこなせるようになるわけではないことに注意してください。 現場で使いこなせるようになるには、プログラミングがある程度できる必要もありますし、対象となる実データも必要です。 本当に統計的処理をする前には、前処理なんかも必要ですよね…… 統計を使ったデータ分析には、統計学の理論だけではなく、様々な道具を身につける必要があるのです……涙 （よみがえる眠れぬ夜のおもひでたち……） 基本的には書籍を使った勉強法を紹介していきます。 ある程度、統計学のことが分
Livesense Advent Calendar 2021 の 3 日目を担当しますテクノロジカルマーケティング部の池谷です。 以前以下のような記事を書きましたが、今回はその続きです。 made.livesense.co.jp やったこと 私が所属するチームでは、 A/B テストの実施を補助する社内ツールとしての Web アプリケーションを開発・運用しています。 Brain Optimizer と呼ばれるこのツールは、パターン振り分けのエンドポイントを払い出したり、テスト結果を確認したりできる機能を持っています。 今回、以下のように A/B テストの結果どちらのパターンが勝ったのかをグラフィカルに確認できるようにしました。分布の表示だけでなく勝率も併せて表示することで、深い統計的知識がなくとも手軽に統計学の恩恵を受けられるようになりました。 課題 Brain Optimizer には以前
Exploratoryとはまさにデータを”Explore”（探索）する分析ツールです。Exploratoryはいわゆる「BIツール」には属さないものの、その直感的でストレートなインターフェース（画面）が組織でのデータ活用にインパクトを与えてくれるため、当社でもExploratoryを使用してコンサルティング/支援をしています。Exploratoryは明朗なクレジットカード払いで、その点で主要なBIツールよりも導入しやすく、R言語（統計解析向けのプログラミング言語）を基盤としていることから統計領域・アナリティクス分野に力点を置いたコンサルティング業務の生産性を上げられています。 そこでこの記事では、Exploratoryとは何なのか、Excelでは実現出来ないのか、Tableauとはどういった点で違うのかなど網羅的にExploratoryを解説します。 1.Exploratoryとは？Exp
はじめに こんにちは！ソウゾウのSoftware Enginner（Machine Learning）の@nkato_です。「メルカリShops [フライング] アドベントカレンダー2022」の4日目を担当します。 この記事では、ソウゾウの機械学習チームで取り組んだこととして、施策の評価にベイジアンA/Bテストという手法を取り入れた話をします。 ベイジアンA/Bテストを用いるとテスト結果が解釈しやすく、そのため最終的な意思決定に繋げやすいというメリットがあります。A/Bテストに取り組む中で「有意差がなかったから既存ロジックを採用してしまう」「信頼区間の解釈に迷う」といった経験がある方にはぜひお読みいただきたい内容です。 また、この記事は統計学に関する用語を含んでいるため、統計学についての基本的な知識を有する方を対象としています。 A/Bテストとは A/Bテストとは、ユーザーをランダムに2つ
この記事は GMOアドマーケティング Advent Calendar 2023 21日目の記事です． はじめに こんにちは．GMOアドパートナーズにてインターンシップとして参加させていただいております，kantayamaです．現在は修士課程2年で，確率ニューラルネットモデルに関する理論研究をしています． インターンシップをしていく中で，マーケティング・ミックス・モデリング（MMM）に興味を持ち，まずは実装してみようということで，Googleが公開しているMMMライブラリ「LightweightMMM」を触ってみました．実際に実務で活用するにはより厳密な解析が必要になるかと思いますが，とりあえずMMMの全体像を掴みたいなと思い実装してみたので今回紹介させていただきます． マーケティング・ミックス・モデリング（MMM）とは 概要 MMMとは，メディア運営や広告掲載など，個々のマーケティング施策
こんにちは、吉岡([twitter:@yoshiokatsuneo])です。 Webサービスを運営していると、いくつかの機能やページのデザイン・文面・などから、どれを選ぶか迷うことがありますよね。 これがいいんじゃないか、いやあれがいいんじゃないか…などとみんなで考えたり議論したりしても結論が出ないとき、使われる手法の1つがA/Bテストです。 A/Bテストは、A案・B案の機能やデザインをユーザーによって出し分けて、クリック率などの反応を見ることで、どちらの案がよかったかを確認します。 ただ、単純にクリック数やクリック率で比べるだけでは、たまたまその時クリックされただけなのか、有意差があるのかどうかがわかりません。たとえば、A案が10回表示して1クリック、B案が10回表示して2クリック、という場合、B案の方が2倍クリックされているわけですが、1回しか差がないので、偶然多くなっただけな可能性が
第32回 人工知能学会 金融情報学研究会（SIG-FIN）参加レポート / 開発者向けブログ・イベント | GMO Developers
GMOインターネットグループ デベロッパーエキスパートの市川（@Yoshihiko_ICKW）です。 2024年03月02日（土） 第32回 人工知能学会 金融情報学研究会（SIG-FIN）@東京大学に参加してきました。 目的は、ファイナンス分野への人工知能技術の応用研究の調査のためです。ChatGPTのファイナンスへの応用の話も多かったです。よろしければご覧ください。 （文章の作成に当たっては、一部Chat-GPTを利用しました） イベントの概要 人工知能学会 金融情報学研究会（SIG-FIN）は人工知能学会の第二種研究会です。 詳細は上記リンクに譲るのですが、近年より広い方々の金融市場への関心が高まっています。このような背景で、ファイナンス分野への人工知能技術の応用を促進するための研究会になります。人工知能分野の研究者や金融市場の現場の技術者が参加する、大変ユニークな研究会になっていま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
株AIを結構頑張ったら、儲かりそうな雰囲気が出ている - Qiita
【翻訳】機械学習の技術的負債の重箱の隅をつつく (前編) - 株式会社ホクソエムのブログ
95%信頼区間の「95%」の意味 - 渋谷駅前で働くデータサイエンティストのブログ
【論文紹介】統計学の過去50年における最も重要なアイディアとは？ - Qiita
2019年、俺の読んだ論文50本全部解説(俺的ベスト3付き) - Qiita
データマネジメント・データ分析に役立つ情報をまとめる - Qiita
ノア・スミス「インターネットは断片化したがっている」（2022年12月17日）
お手軽で欲しい機能が揃っている実験管理ツールGuild AIの紹介 - kuromt blog
マーケティング担当者なら使えるべき5つの超重要な分析手法 - Qiita
時系列解析に散った子羊たちへの鎮魂歌 - AIソリューションアーキテクトのおしゃべり
ベイジアン操作変数法でA/Bテストをしよう - Sansan Tech Blog
温故知新：古典的名著『回帰分析』（佐和隆光）を読む - 渋谷駅前で働くデータサイエンティストのブログ
統計初心者がベイズ統計学に入門するまでの勉強法 - Qiita
A/B テストの結果を人にやさしく表示する - LIVESENSE ENGINEER BLOG
Exploratoryとは？|データ活用にレバレッジをかける革新的なツール
ソウゾウにベイジアンA/Bテストを導入しました | メルカリエンジニアリング
【Python】噂の”LightweightMMM”を使ってみた
Webサービスでよく使うA/Bテストの評価方法5種をコード付きで解説 - paiza times