検索量を用いた状態空間モデルによる売上予測 - sigma
この記事はStan Advent Calendar 2018 qiita.com の23日目の記事です。本記事では状態空間モデルを用いた時系列予測について実データでの分析例を紹介します。 2015年度人工知能学会全国大会（第29回）での論文、 状態空間モデルを用いた検索トレンドとページビューからの自動車販売台数の予測, 角田 孝昭, 吉田 光男, 津川 翔, 山本 幹雄 www.jstage.jst.go.jp と同内容の状態空間モデルによる予測をStanを用いて行ってみました。この論文では、自動車の販売台数の月次データの予測を状態空間モデルを用いて行っていて、説明変数として絵googleの検索量を用いることで予測が改善するかどうかを調べています。 使用データについて 今回使用したデータは論文と同様に日本自動車販売協会連合会 自販連のホームページ からとってきた車種ごとの月次販売台数データ
時系列モデリングのおさらい：季節調整とトレンド抽出 - 渋谷駅前で働くデータサイエンティストのブログ
COVID-19が世界中に感染拡大し、日本含め多くの国で外出や集会の制限（自粛）措置が取られて久しい昨今ですが、これに伴って多くのところでCOVID-19に関連したオープンデータが公開されるようになっており、データ分析を生業とする人間が実データを扱う良い機会ともなっているように見受けられます。 ということで、今回の記事では東京都が公開している日次のCOVID-19感染者（PCR検査陽性者）報告数のデータを題材として、時系列モデリングのおさらいをしてみようと思います。なお、この記事における時系列モデリング結果は今後のCOVID-19の感染拡大状況について何かしらの解釈や予測をするためのものでは全くありません*1ので、悪しからずご了承ください。 また、この記事で公開しているコードは以前書いたクソコードをそのまま転用しているので、端的に言ってただのクソコードです。皆さん自身がお試しになる際は是非
brmsを使ってみる - まずは蝋の翼から。
brmsというStanのラッパーパッケージで遊ぶ。 概要 例えば、rstanを使う場合はStanコードを別ファイルの.stanに記述してそれを呼び出す形でbayes推定をおこなう。一方、brmsを用いるとStanコードをわざわざ書かなくてもbrmsパッケージの関数を用いればbayes推定ができる。正確には、関数を介して内部的にStanコードを走らせているらしい。そのため、brmsを用いて書いたbayes modelが内部的に持っているStanコードはどうなっているか知りたい場合はそのコードを出力することも可能。 また、指定するための事前分布が豊富に存在するので、例えばStanで記述するのが面倒なゼロ過剰ポアソン分布なども簡単に使えるらしい。 ちなみに、brmsははBayesian Regression Models using Stanの略。 今回、brmsの練習のために「StanとRでベ
Ad-Stock効果を推定しつつ回帰を回したい⑤ - 統計コンサルの議事メモ
背景 しつこいようですが、Marketing Mix Modeling（MMM）の話題です。 先日、こんな面白い論文を見つけました。 GoogleのResearcherによるMMMの論文（彼らはMedia Mix Modelingと呼んでいます）なのですが、ヒルの式を用いて広告のShape効果（Carveture効果）を推定するということをやっています。ここでShape効果・carveture効果とは、メディアの露出量に対する目的変数の反応を示す曲線を指すようで、ヒルの式とは： $$ H(x; K, S) = \frac{1}{1 + (\frac{x}{K})^{-S}} $$ であり、$K > 0$や$S > 0$となるパラメータによってLogやSigmoidの形状を表現することができるようです。 ヒルの式によってxがどのような形状となるか、実際に確認してみましょう。まずはヒルの式を以
Stan モデリング言語: ユーザーガイド・リファレンスマニュアル
図4.4: Stanの変数宣言の型と対応するプリミティブな実装の型の表. Stanの関数・演算子・確率関数は引数と戻り値の型を持ち, それらはプリミティブな型と配列次元数によって宣言されます. 型推定の規則 Stanの型推定規則は, 変数宣言の背後にある組み合わせに基づいて, ある式の実装の型を定義します. この規則は, プリミティブなリテラルと変数の式から, 複合した式へとボトムアップに作用します. リテラル 42のような整数リテラルの式はint型です. 42.0のような実数リテラルはreal型です. 変数 局所的に, あるいは前のブロックで宣言された変数の型はその宣言で決定されます. ループ変数の型はintです. 各変数の宣言は, スコープ毎に常に唯一となります. Stanでは, 既に宣言された変数をもう一度宣言することを禁止しているからです. 5 インデックス操作 xが全体の次元数が
Bayesian Statistics and Marketingの5章 – 家計の異質性を考慮した階層ベイズモデル – かものはしの分析ブログ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに ゴールデンウィークで実家に持ち込む本としてチョイスしたのが、2005年出版の「Bayesian Statistics and Marketing」です。大学院のときに購入して、ちょっとしか読んでませんでした。 この本は、字面の通りマーケティング関連の分析に関してベイズ統計を使ってアプローチするというもので、この書籍のために作られた、Rのbayesmというパッケージの紹介もあり、理論だけでなくRで実践することもできます。1章から7章までの全ての分析事例に対して
時変係数動的線形モデルをStanで推定してみる（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ
これはただの備忘録です。目新しい内容は特に何もありません。きちんとした内容を学びたいという方は、先日著者の萩原さんからご恵贈いただいたこちらの書籍で学ばれることをお薦めいたします。MCMCに留まらず、粒子フィルタの実装＆実践までカバーしていて素晴らしい教科書だと思います。 基礎からわかる時系列分析 ―Rで実践するカルマンフィルタ・MCMC・粒子フィルター (Data Science Library) 作者: 萩原淳一郎,瓜生真也,牧山幸史,石田基広出版社/メーカー: 技術評論社発売日: 2018/03/23メディア: 大型本この商品を含むブログ (1件) を見る で、今回取り上げるのは時変係数から成る動的線形モデルです。マーケティング分析では割と時不変係数モデルが暗黙のうちに採用されることが多いのですが、一方で「おいこれどう見ても特定の特徴量の係数は時変やろ」みたいなケースも時々見かけるこ
階層ベイズモデルを用いた労働時間と知的好奇心の関係分析 - kivantium活動日記
以前@berobero11さんに「StanとRでベイズ統計モデリング」をプレゼントしていただき、本を読んだのですが解析したいデータがなかったため勉強した結果を活かすことができずにいました。 しかし今日Twitterを見ていたら 長時間労働は，知的好奇心を枯らすのか。 pic.twitter.com/NcuaLAgzpy— 舞田敏彦 (@tmaita77) 2017年11月13日 労働時間と知的好奇心には，国レベルでは非常に強い負の相関があるが，個人レベルでは逆に正の相関がある https://t.co/N8Z00ljFfB— Haruhiko Okumura (@h_okumura) 2017年11月15日 というまさに階層ベイズモデルを用いた解析にぴったりのテーマが流れてきたのでStanの練習として解析を行ってみました。 モデリング まずは奥村先生のPIAACデータ解析を読んでください。
【MCMC】Stan で状態空間モデリング |
前回の {dlm} を用いた状態空間モデルを Stan でも試してみます。 今回も備忘録になります。環境は macOS 10.12, R 3.3.1, rstan 2.16.2 です。 はじめに 前回も使った架空の日次PVデータに曜日 (0-6), 広告費, イベント (長期休暇) を表す変数を追加する。 広告費は pv 増加要因, 長期休暇は pv 減少要因の想定とする。 > head(df) X date pv week ad vacation 1 1 2016/9/1 490 0 0 0 2 2 2016/9/2 450 1 0 0 3 3 2016/9/3 176 2 0 0 4 4 2016/9/4 158 3 0 0 5 5 2016/9/5 440 4 0 0 6 6 2016/9/6 546 5 0 0 最初に前回の季節要素のあるトレンドモデルに似たモデルを作り, 続いて広
Stanで体重の推移をみつめてみた(状態空間モデル)
この記事は Stan Advent Calendar 2016 のエントリーです。 Stanいいですね。いいですね，Stan. 私はもっぱらRから触るrstanユーザーなんですが，いろいろなところから触れる間口の広さがいいですね。 もちろん「尤度関数を書かなくても推定してくれる」とか「細かい設定をしなくても大体ちゃんとやってくれる」といったStan本来のありがたみも忘れちゃいけません。 なにより，ベイジアンモデリングのハードルがすごく下がった気がします。頭の中でイメージしていることが，そのまま書けるっていうのは，とてもいいことだと思うのです。 この「頭の中のイメージがそのまま書ける」ということを一番実感したのは，状態空間モデルのお勉強をしているときでした。なので，その時のことを記事にして，Stanへの感謝とエールに代えたいと思います。 時系列データと状態空間モデル 時系列的なデータの場合，
StanとRでベイズ統計モデリングに関する読書会（Osaka.stan） 第四章
StanとRでベイズ統計モデリングに関する読書会（Osaka.stan）第二回における，第四章の発表資料ですRead less
Stan超初心者入門
Stanの初心者が基本的な統計モデルを実行するまでの解説です。プログラミング初心者向けに書いているので，やや説明が遠回りなところもあります。Read less
[stan][R] RFM分析と階層ベイズ法 (解決編) - ill-identified diary
概要 前回の『[python] [stan] 潜在変数と階層ベイズ法と RFM 分析 [未完成] - ill-identified diary』の完成版. 忙しくて1年近く放置していた…… パラメータを推定し顧客ごとの生涯顧客価値 (CLV) の計算まで実行できた. stan は 2.14.0 を利用. 前回のは 2.9 で, 2.10 以降は構文が大きく変わっているので注意. 前回の「プログラム」以外のセクションを読んでからこちらを読むことをおすすめする. 文章量は4ページ (画像とプログラム除く) 反省点実は, こちらですでに RF 分析についての stan の一部正解コードが書かれている.abrahamcow.hatenablog.com 前回の一番の問題点は, 原理上離散的なパラメータを扱えないハミルトニアンモンテカルロ (以下, HMC) 法で を無理やり離散パラメータとして扱お
![[stan][R] RFM分析と階層ベイズ法 (解決編) - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/df6efc137dd95bf66160ed813274630d235f8446/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fi%2Fill-identified%2F20170226%2F20170226230448.png)
最近見つけたR関連記事のメモ 2016/6/21 | 日々是独想 - 日々の徒然なることを独り想う。
半月ぶりですね。がんばります。 R3.3.1リリース 当初の予定通り、2016/06/21に上記バージョンがリリースされました。コードネームは”Bug in Your Hair”です。執筆時の4時間前なのでミラーにはきてないかもしれませんが、順次入ってくるかと思います。 Rイベント関連 Kandai.R #1(終了・資料リンクなど) 6/18に関西大学千里山キャンパスで開催されました。当日の発表資料で把握しているのは以下のとおりです: – 入門者講習 – 非変態ユーザーのためのR Tips // Speaker Deck – Rでドキュメントを生成しよう 非常に楽しかったです。また次回開催されるのであればまた何かネタを準備して臨みたいです。ありがとうございました。 第54回R勉強会＠東京（#TokyoR）(終了・資料リンクなど) 6/19に都内で開催されました。公開された当日の資料などにつ
Stanで推定するローカルレベルモデル | Logics of Blue
新規作成日：2015年12月6日 最終更新日：2016年9月22日 Stanを使って、ローカルレベルモデルを推定しましょう。 今回はナイル川の流量データを対象として、ローカルレベルモデルを推定します。 なお、Stanとベイズ推定の基礎に関しては、以下の記事をご覧ください ベイズ統計学基礎 ベイズと統計モデルの関係 ベイズとMCMCと統計モデルの関係 Stanによるベイズ推定の基礎 状態空間モデルの基礎に関しては、以下の記事をご覧ください 状態空間モデルとは dlmの使い方（Stanを使わないで状態空間モデルを推定する方法について書いてあります） ローカルレベルモデル 季節とトレンド コードをまとめたものはこちらにおいておきます。コピペする際はこちらをお使いください。 スポンサードリンク 目次 1．ローカルレベルモデルとは 2．状態空間モデルの「左端」の問題 3．Stanによるローカルレベル
Stanで統計モデリングを学ぶ(5): とりあえず階層ベイズモデルを試してみる（応用編：トレンドのあるモデル） *追記2件あり - 渋谷駅前で働くデータサイエンティストのブログ
このシリーズ記事、全然真面目に事前分布の勉強をしていない人間がStanで無理やりフルベイズをやろうという無謀な代物でございますが、何だかんだで段々佳境に入ってまいりました。 ということで、今回は階層ベイズモデルをこんな感じでやってみましたという例を挙げてみようかと思います。ちなみに内容的には@berobero11さんのこちらの記事（「RStanで『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた」）をグレードダウンさせた感じのものだったりします（笑）。そして先日招待講演させていただいた時の最後の方で取り上げた例でもあります。 そんなわけで、どのようにしてやっていったかを含めてサクサク見ていきましょう。階層ベイズについて忘れちゃったという人は、前回の記事あたりを読んで復習してもらえれば。 データをインポートする いつも通り、サンプルデータをGitHubに上げてあるので持
RStanで『予測にいかす統計モデリングの基本』の売上データの分析をする - StatModeling Memorandum
12/22(日)にBUGS/Stan勉強会#2がドリコム株式会社にて催されました。そこで2つ発表をしました。そのうちの1つ「『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた」に関する詳細＆補足＆苦労話をここで書きたいと思います。RStanというパッケージでRからStanというMCMCサンプリングソフトを使っています。 最初に発表内容のスライドは以下になります。ざっと見るにはこれで十分です。 『予測にいかす統計モデリングの基本』の売上データの分析をトレースしてみた from . . 以降ではスライドごとに簡単に補足していきます。 予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで (KS理工学専門書) 作者:樋口 知之発売日: 2011/04/07メディア: 単行本（ソフトカバー） まずは元となった書籍の紹介です。時系列解析の第一人者による分かりやすく丁寧に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
StanとRでベイズ統計モデリング読書会 導入編（1章～3章）
政治学方法論 II：階層モデルとStan によるベイズ推定
心理学者のためのGlmm・階層ベイズ
