時系列データならRのTSstudioパッケージでサクッと分析
ビジネス系データサイエンスの多くは、時系列データです。 RのTSstudioパッケージを使うと、サクッと時系列解析できます。「TSstudio」の「TS」はTime Series（時系列）の略です。 RのTSstudioパッケージには、時系列データを分析する上で嬉しい機能がてんこ盛りです。 今回は、「時系列データならRのTSstudioパッケージでサクッと分析」というお話しをします。 TSstudioとは？ RのTSstudioには、ざっくりした次のような機能があります。 時系列データの可視化 時系列データの分析 時系列の予測モデル構築 例えば、現在（2021年3月5日現在）は次のような時系列モデルを作ることができます。 ARIMAモデル（auto.arima含む） ETS（Error-Trend-Seasonality, Exponential smoothing state space
時系列性を考慮した因果探索手法VAR-LiNGAMの紹介｜Dentsu Digital Tech Blog
電通デジタルでデータサイエンティストをしている中嶋です。 この記事では、これまで紹介したLiNGAMの派生形であるVAR-LiNGAM（Vector AutoRegression-LiNGAM）について紹介したいと思います。これは通常のLiNGAMにベクトル自己回帰モデル(Vector AutoRegression Model: VAR Model)の考え方を取り入れ、時系列性の因果も考慮した因果探索を行うものです。 今回の記事では分量の関係からGoogle Colabでの実装は割愛し、元論文[1]を参考にしながら主に理論的な部分の紹介を行います。 定式化VAR-LiNGAMの定式化を説明する前に論文の形式に倣ってまずはLiNGAMとVARそれぞれの定式化をおさらいします。個別の説明に入る前に全体像を以下に示します。 LiNGAM LiNGAMとはLinear Non-Gaussian A
【Kaggle】tsfreshを使って多次元時系列データを特徴量エンジニアリングしてみた - Qiita
0. はじめに 突然ですが、時系列データって扱いが難しいですよね。 しかも、変数が増えるとますます心が折れそうになると思います。 でも、「時系列データから特徴量さえ抽出してしまえば、あとは何とでもなる！」 って人も多いのではないかと思います。 今回はそのような方に向けて、tsfresh という多次元時系列データの特徴量エンジニアリングに役立ちそうなライブラリを紹介します。 以下の記事を参考にさせて頂きました。 - 時系列データから自動で特徴抽出するライブラリ tsfresh - tsfreshで時系列データの統計的処理を簡単に 1. tsfreshのインストール 僕は pip 経由でインストールしました。pip を新しめにしておかないと pip から install できなかったので、pip を upgrade しといて下さい。
8 回帰分析 | Rによる統計入門
8.1 概要 回帰分析という統計手法は、独立変数（説明変数・予測変数）と従属変数（被説明変数・目的変数・応答変数）の関係を記述するのに使われます。 回帰分析を使うことで、 目的変数と関連のある説明変数を特定したり、 変数間の関係式を記述したり、 説明変数から目的変数を予測したり することができます。
ミンキーのナイトメアー・ビフォア・クリスマス
まずは、擬似データの作成から。 stanを使い、モデルを2つ試しました。 モデル1: 広告効果をベクトルで表現する ################################################## transformed parameters { alpha[i] = mu[i] + c1[i]*ad_flg[i]; } model { mu[i] ~ normal(mu[i-1], s_w); c1[i] ~ normal(2*c1[i-1]-c1[i-2], s_c1); y[i] ~ normal(alpha[i], s_v); } ################################################## mu: 水準 今日の水準 = 昨日の水準 c1: 広告効果 広告効果は滑らかであるという仮定から 今日の水準 - 昨日の水準 = 昨
VARそして時系列因果性分析の復習 - 渋谷駅前で働くデータサイエンティストのブログ
「新型コロナウイルス感染症における治療の進展（令和2年10月29日に開催された第13回新型コロナウイルス感染症対策分科会事務局提出資料を基に内閣官房・内閣府作成）」という資料が世間で物議を醸しているようです。ただ、これを見ていて僕が個人的に気になったのは、その議論の内容や結論ではなく、「グレンジャー(Granger)因果」が使われているという点でした。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者:竜義, 沖本発売日: 2010/02/01メディア: 単行本Time Series Analysis 作者:Hamilton, James D.発売日: 1994/01/11メディア: ハードカバー 以前このブログでも一通り計量時系列分析を取り上げて一生懸命沖本本やHamiltonで勉強しながらシリーズ記事を書いたものですが、その時の記憶から言えば「Granger因果って
[R] 実データを時系列解析して結果を考察してみる - Qiita
Rで時系列データを時系列解析する モデルを推定し実測値と予測値を比較してみたら面白かったので、記事にしてみました。 さらに予測の精度が悪かった箇所を考察してみました。(2018/6/2更新) 主な参考文献は、田中考文著「Rによる時系列分析入門」です。 使用する時系列データは、経済産業省 鉱工業指数 集計結果より2008年1月から2016年12月までの酒類の総合原指数月次付加価値額生産(IIP)とします。 2017年の酒類のIPPは予測値と比較するために使用します。 なんとなく目についたので酒類にしてみました。 この時系列データを使って2017年の酒類のIIPを予測し、2017年の酒類のIPPを実測値として比較することで予測精度を確認してみます。 ちなみに、使用する時系列データをプロットするとこんな感じ。 データの増減に規則性があり予測しやすそうですが、このグラフだけでは確証が持てません。
![[R] 実データを時系列解析して結果を考察してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7df3381b4e14730cce0516b604ab225a9f5462ff/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUiU1RCUyMCVFNSVBRSU5RiVFMyU4MyU4NyVFMyU4MyVCQyVFMyU4MiVCRiVFMyU4MiU5MiVFNiU5OSU4MiVFNyVCMyVCQiVFNSU4OCU5NyVFOCVBNyVBMyVFNiU5RSU5MCVFMyU4MSU5NyVFMyU4MSVBNiVFNyVCNSU5MCVFNiU5RSU5QyVFMyU4MiU5MiVFOCU4MCU4MyVFNSVBRiU5RiVFMyU4MSU5NyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9Y2QyZWFiMTc3ODhjZTE1Njg2YmIwZmE2NDYwZDA4YjI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBub3JpMF9fJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1hYTI3MmE5OTc3MmMwY2FhMGZiYTdiYTE0YjkzYWM2MA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D7299835ba5466e061bfc2ff703e09835)
Rで計量時系列分析：単位根過程、見せかけの回帰、共和分、ベクトル誤差修正モデル - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事ではVARモデルに基づく様々な計量時系列分析手法を取り上げました。今回はいよいよ現実世界の時系列データを扱う上では避けて通れない、単位根過程とそれにまつわる様々な問題とその解決策について触れてみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る ただしこの辺の数理科学的な原理・根拠が気になる人は、Hamilton本も脇に置いておいた方が良いでしょう。 Time Series Analysis 作者: James D. Hamilton出版社/メーカー: Princeton Univ Pr発売日: 1994/01
Rでのナウなデータ分割のやり方: rsampleパッケージによる交差検証 - 株式会社ホクソエムのブログ
前処理大全の「分割」の章では、予測モデルの評価のためのデータセット分割方法が解説されています。基礎から時系列データへ適用する際の注意まで説明されているだけでなく、awesomeなコードの例がRおよびPythonで書かれており、実践的な側面もあります（お手元にぜひ！）。 しかし今回は、Awesome例とは異なる、より新しいやり方で・簡単にRでのデータ分割を行う方法を紹介したいと思います。前処理大全でも取り上げられているcaretパッケージですが、その開発者のMax Kuhnが開発するパッケージの中に rsample を使う方法です。ここでは前処理大全で書かれている一般的なデータと時系列データの交差検証による分割をrsampleの使い方を紹介しながらやっていきます。加えて、rsampleの層化サンプリングについても最後に触れます。 1. レコードデータにおけるモデル検証用のデータ分割 zeal
CausalImpact
An R package for causal inference using Bayesian structural time-series models What does the package do? This R package implements an approach to estimating the causal effect of a designed intervention on a time series. For example, how many additional daily clicks were generated by an advertising campaign? Answering a question like this can be difficult when a randomized experiment is not availab
とある実験の記録 - 渋谷駅前で働くデータサイエンティストのブログ
先日書いたこの記事ですが、「トイデータとは言え乱数シードを一つに決めて発生させたランダムウォークに対して実験をしているので、乱数シードを複数通りに変えてみたら結果は変わってくる（再現しない）のではないか？」という指摘を何人かの友人知人から貰いました。正直言って多項式フィッティングには何の思い入れもないのですが、再現性があるかどうかについては単純に気になるところです。 ちなみに、以前沖本本で勉強した際にあった「ランダムウォークには平均回帰性がなく時間と共に不確実性が増すため事実上予測不可能（特に長期予測）」という議論の通りで、本来ならランダムウォークに対して「予測」を行うのはそもそも適切ではありません。ただし、短期予測なら例えば状態空間モデルやBSTS的な方法で多少は精度を改善できるのでは？と考えていたのは事実で、同じことが無根拠でナンセンスな多項式フィッティングでも出来たら面白いかもと思っ
[R] bsts (ベイズ構造時系列モデル) パッケージの使い方 - ill-identified diary
概要 ベイズ構造時系列モデリングを行う bsts パッケージは最近リリースされたばかりである. このパッケージはまだ (日本語の) 情報が少ないため, ここで理論と応用例を包括的に説明することを試みる. bsts とは, Bayesian Structural Time Series, つまりベイズ (ベイジアン) 構造時系列モデルの略称である. 某有名IT企業の某有名データサイエンティストの方が bsts パッケージの入門記事 tjo.hatenablog.com を書いていたが, より詳細で広範な説明がほしいところであった. 奇しくも bsts の開発者もこの方と同じ企業に所属しているので, 何か特別な思い入れがあるのかとも思ったが, 本人はなかなかより詳細な記事を書く気配がないため, しびれを切らして自分が書くことにした (あてつけではない). この記事の残りの構成は次の通り. まず
![[R] bsts (ベイズ構造時系列モデル) パッケージの使い方 - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/e6f6d0628012eb4999f97d9c0a9fe2bdd9ee59e6/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Fae1467449a3977b2a4bf217de208d2984c763c1d%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fi%252Fill-identified%252F20170908%252F20170908000348.png)
時系列モデリングのおさらい：季節調整とトレンド抽出 - 渋谷駅前で働くデータサイエンティストのブログ
COVID-19が世界中に感染拡大し、日本含め多くの国で外出や集会の制限（自粛）措置が取られて久しい昨今ですが、これに伴って多くのところでCOVID-19に関連したオープンデータが公開されるようになっており、データ分析を生業とする人間が実データを扱う良い機会ともなっているように見受けられます。 ということで、今回の記事では東京都が公開している日次のCOVID-19感染者（PCR検査陽性者）報告数のデータを題材として、時系列モデリングのおさらいをしてみようと思います。なお、この記事における時系列モデリング結果は今後のCOVID-19の感染拡大状況について何かしらの解釈や予測をするためのものでは全くありません*1ので、悪しからずご了承ください。 また、この記事で公開しているコードは以前書いたクソコードをそのまま転用しているので、端的に言ってただのクソコードです。皆さん自身がお試しになる際は是非
Fitting Bayesian structural time series with the bsts R package
by STEVEN L. SCOTT Time series data are everywhere, but time series modeling is a fairly specialized area within statistics and data science. This post describes the bsts software package, which makes it easy to fit some fairly sophisticated time series models with just a few lines of R code. Introduction Time series data appear in a surprising number of applications, ranging from business, to the
[R] fb Prophet の解剖で学ぶベイズ時系列モデリング - ill-identified diary
初めに prophet のモデルの説明 ハリボテの R言語 なぜベイズ推定する必要があるのか 結論 補足: バージョン 0.3 で追加された機能について 参考文献 初めに昨年, KFAS, bsts と, いくつか R の時系列モデリングパッケージを紹介記事を書いた. FaceBook によって開発されたという prophet パッケージも紹介したかったところだが, 日本語での説明は既に公開されている hoxo_m 氏のものが網羅的であり, 使い方の解説としてはこれ以上やることがほぼないと言っていい. Prophet入門【R編】Facebookの時系列予測ツール from hoxo_m Prophet入門【理論編】Facebookの時系列予測ツール from hoxo_m あとはあるとすれば紹介論文やヘルプの全訳くらいだが, そんな面倒 (かつ退屈) なことはしたくない. そこで, pro
![[R] fb Prophet の解剖で学ぶベイズ時系列モデリング - ill-identified diary](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d5648ebab41f6fd9b8628b247316c0435cb6437/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2Ffc48c9db1a9b08ec7ec92c42df8b086556127ebb%2Fbackend%3Dimagemagick%3Bheight%3D1300%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fi%252Fill-identified%252F20180528%252F20180528013747.png)
実務の現場に多い時系列データ分析の際に注意しておきたい点を列挙してみる - 渋谷駅前で働くデータサイエンティストのブログ
こういうメタ分析系の記事を書く時というのは大抵ネタ切れの時なんですが（汗）、最近になってこの辺のポイントでつまずいて困っているビジネスデータ分析の現場の話を聞くことがまた増えてきたので自分向けの備忘録も兼ねて記事としてまとめておきます。 そうそう、時系列分析の話って厳密にやり始めるとキリがないので、例えば単位根過程まわり（特に共和分のあたりを含めた複数時系列間の関係性の話とか）は「トレンドに注意せよ」という大きなくくりにまとめて、厳密な議論は割愛して出来る限り実務面で押さえるべきポイントに絞ろうと思います*1。悪しからずご了承あれ。 周期性のあるデータには真っ先に季節調整を ビジネス時系列データは例えば毎日毎時の売上高とか契約数とかコンバージョン数とか、どこからどう見ても曜日変動とか24時間変動などの周期性が乗っているデータであることが多いです。にもかかわらず、その手の周期性に何の処理もせ
ベイズ構造時系列モデルを推定する{bsts}パッケージを試してみた - 渋谷駅前で働くデータサイエンティストのブログ
Rパッケージ紹介ばかりが続いていて恐縮ですが。。。最近になってこんなものがFacebookからリリースされていたのを知りました。 これはこれで使いやすそうだなと思ったんですが、実はGoogleからも同様のMCMCサンプリングベースの時系列分析向けCRANパッケージ{bsts}がしばらく前から出ていたりします。見た感じ日本ではほとんど知られていないように見受けられるのですが、どんなものなんでしょうか？ ということで、一応他社フレームワークの紹介をするよりはこちらのフレームワークの紹介を先にする方が筋かな*1と思ったもので（笑）、ここでは遅ればせながら{bsts}パッケージの紹介をすることといたします。 そもそも{bsts}とは 名前が示す通り、Bayesian Structural Time Series（ベイズ構造時系列）の時系列分析を行うパッケージです。愚かにもVignetteがないので
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jarad/FluSight: An R package containing functions used in the CDC Flu Forecasting competition
Deep Learning for Multivariate Time Series Forecasting using Apache MXNet
Time series and forecasting using R