「状態空間時系列分析入門」をRで再現する
Commandeur & Koopman「状態空間時系列分析入門」をRで再現する 仕事の都合で仕方なく状態空間モデルについて勉強していたのだけれど(なぜ私がこんな目に)、仕事で使うためには自分で計算できるようにならなければならない。 参考にしているCommandeur & Koopman 「状態空間時系列分析入門」（以下「CK本」）の著者らは、すべての事例についてデータとプログラムを公開している。ありがたいことであります。しかし、ssfpackという耳慣れないソフトを使わなければならない。わざわざ新しいソフトの使い方を覚えるのは大変に面倒だ。できれば普段使っているソフトで済ませたい。 というわけで、勉強かたがた、CK本に出てくる計算例を片っ端から R で再現してみた。汗と涙の甲斐あって、すべての章についていちおう再現できたので、ここに載せておくことにする。 もくじ: Rプログラム紹介 全体
ソシャゲ（スクフェス）のボーダーを統計的に予測する方法-非定常時系列データ分析-
＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ 追記 2014/06/20 ・少しだけ加筆 2014/06/19 ・Rコマンドの部分，一部文字化けしていたので修正 ・少しだけ加筆 ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊ という訳で，久しぶりに小ネタ． 金融データを用いても良いんだけれど， というか，その方がネタとしては王道だと思うんだけど， あえてソシャゲ等の緩いものを本気で考える方が面白いなと思ったのと， ・ イベント期間が決まっている ・ データを入手しやすい ・ 時系列データの傾向が明らか（基本的に右肩上がりのトレンドを持つ） ・ 周期性を予測しやすい（1日の中でアクティブ率が高い時間，低い時間等） 等々，時系列データ解析において最も大事な「仮定（仮説）」を立てやすいので採用． もう一つは，ファイナンスデータについては色々と持論を持っていまして，
RパッケージtidyquantとExploratoryで始める0からのファイナンス計量分析 - Qiita
こちらは、Rパッケージ、tidyquantの作者であるMatt Danchoが書いた、Quantitative Financial Analysis For Beginners with Exploratory.io and tidyquant を、許可を得て翻訳をしたものになります。分析対象企業を日本企業にするなど、若干変更があります。 ファイナンスの計量分析は、一般的にハードルが高いと思われています。この分野には、膨大な知見がありますが、誰しもそれを全て学ぶだけの時間があるわけではありません。 この記事では、ファイナンス分析のためのRパッケージ、tidyquantと、Rのユーザー・インターフェースである、Exploratoryを使用して、定量株式分析の基礎を理解するための、株式リターンの基本的な分析の手法を紹介します。 知っておくべきこと 分析を始める前に、いくつか必要なことを理解して
Prophet: How Facebook operationalizes time series forecasting at scale
Revolutions Milestones in AI, Machine Learning, Data Science, and visualization with R and Python since 2008 Facebook is a famously data-driven organization, and an important goal in any data science activity is forecasting. Now, Facebook has released Prophet, an open-source package for R and Python that implements the time-series methodology that Facebook uses in production for forecasting at sca
Rで計量時系列分析：VARモデルから個々の時系列データ間の因果関係を推定する - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事ではVARモデルの基礎までを取り上げました。ということで、今回はVARモデルに基づいて異なる時系列同士の因果関係を推定する3つの手法について取り上げてみようと思います。 ということで毎回毎回しつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者:竜義, 沖本朝倉書店Amazon 以下タイトルにのっとってRで各モデルの挙動を見ながらやっていきます。 必要なRパッケージ＆サンプルデータ {vars}をインストールして展開して下さい。なお、Granger因果のグラフ構造表現及び偏Granger因果は、実はそもそもRでは実装されていません。ここだけMatlabの話題になりますので、悪しからずご了承を。。。 それから今回のサンプルデータですが、また{vars}同梱のCanadaでは芸がないので違うデータを使うことにします。沖
第26羽：宝物は君の#gochiusa で呟いた瞬間 - 驚異のアニヲタ社会復帰の予備
この記事はごちうさ住民 Advent Calendar 2015 の第26日目の記事です(2年連続の勝手に参加。 ネタと解析がなやましい これが私の最大限です 11月の始めころになんとなしにググっていたところ、上記のアドベントカレンダーが今年も行われることに気づいた。 ごちうさに関連してそうなことって何にしようかとネタを考えてると、ふとツイッターの解析でもしてみようと思った。 青い鳥と黄色い蛇 要はツイッターからPython でデータ収集をする話です。 残念なことに現在のツイッターAPI では1週間しかさかのぼってツイート収集ができません。この解析を始めたのが11月半ばだったので、11月9日までしかさかのぼってデータが取れませんでした。 1週間経たないうちにこまめに収集スクリプトを回します。しかしここでも残念ながら、2回目からいきなり忘れていて11月16日あたりのツイートが収集できませんで
未知パラメータがある場合のパーティクルフィルタ – Momentum
概要 未知パラメータ(ノイズの分散など)を含む場合のパーティクルフィルタの実装 システムノイズが正規分布の場合とコーシー分布の場合の比較 システムノイズが正規分布の場合 詳しい理論に関しては参考文献のP.225辺りからを御覧ください。 library(pipeR) library(dlm) #------------------------------------------------------------------------------ # Generate sample data #------------------------------------------------------------------------------ mod <- dlmModPoly(1, dV = 2, dW = 1, m0 = 10, C0 = 9) n <- 100 set.seed
plyrで集計 ggplot2でグラフ化 - google analyticsについて
Table of Contents 複数の指標を時系列で並べる コード(認証) コード(クエリー、集計、グラフ化) 結果 ページ別セッション数の累計表示 期間効果(曜日)を考慮する 考え方 まずはセッション数。 平均滞在時間も曜日効果を見る 分布を見る。滞在時間分布(セグメントデータとして)を見る 考え方 月間別 メディア別 月とメディア別でクロス キーワード + ランディングページ別のセッション滞在時間 ドット表示 + ファセット(ランディングページ) キーワードグループ別滞在時間 Rを使ったアクセスデータの集計(1) plyrとggplotを使ってます。 (*)Rを勉強し始めたら、早めにplyrとggplot2を覚えるのが吉。 見通しがよくなると思います。アクセス数値の集計というより、Rの勉強エントリ。 複数の指標を時系列で並べる アクセスの基本的な数値を集計して、同じ時間軸で並べます
人口ピラミッド - 驚異のアニヲタ社会復帰の予備
人口ピラミッドの形を問う問題があったのでシミュレーションしてみる。 死亡率と出生率は適当なS字曲線に従い、死亡率の低下が先にきてから、出生率の低下が起こる。 出生率は全人口に対して何人生まれたかの‰ 死亡率は全人口に対して何人死んだかの‰だが、新生児ほど死にやすい、かつ、高齢ほど死にやすい、というふうにしようと思って、ある年齢で死亡率が最小だとすると、人口ピラミッドの最高年齢の人が死亡率でこれが最大とすると、新生児の死亡率は、年齢の最小の死亡率として、線形関係にした。 # S字曲線を作成する関数 hill1 <- function (dose, parm){ parmMat <- matrix(c(parm, 1), 1, 5, byrow = TRUE) parmMat[, 2] + (parmMat[, 3] - parmMat[, 2])/((1 + exp(parmMat[, 1]
連続値データの離散化(R Advent Calendar 2013) - sfchaos's blog
これは，R Advent Calendar 2013の8日目の記事です． 2013年を振り返ってみると，Tokyo.Rの"シリーズ前処理"をたったの2回で途絶えさせてしまったことは大いに反省すべき点の一つです(^^; シリーズ前処理を途絶えさせたことは，2013年における痛恨の極みの一つ．2014年に復活させるかな？— sfchaos (@sfchaos) 2013, 11月 30 そんなわけで，残り少なくなった2013年，シリーズ前処理の続きを書いてみたいと思います． 今回のテーマは「連続値データの離散化」です．データ分析を行っていると，連続値のデータを離散化して，いくつかのグループに分けたい場面がしばしば発生します．例えば，健康診断の項目に対して「高・中・低」の3段階に分けたい場合などです． 高次元のデータに対する離散化の手法もいくつか提案されていますが，ここでは1次元のデータの離散化
マルコフ状態転換モデルのコード＆サンプルたち（資料紹介） - 道玄坂で働くデータサイエンティストのブログ
2013-06-03 マルコフ状態転換モデルのコード＆サンプルたち（資料紹介） R Matlab 時系列分析 僕がバイブルとして重宝している名著『経済・ファイナンスデータの計量時系列分析』の最後の章に出てくるのが、マルコフ状態転換モデル*1。経済・ファイナンスデータの計量時系列分析 (統計ライブラリー)作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (3件) を見る時系列モデリング*2と隠れマルコフモデル*3とを併用することで、仮に観測できない2状態のいずれかに観測された時系列が従うと仮定した場合、その時系列が各時点でどちらの状態に従っているか？を定量的に求めることができる、という手法です。正直、日本では計量経済学者だけがよく知っていて、市井のデータ分析屋の間では殆ど知られていない代物だと思
CRAN Task View: Time Series Analysis
Suggestions and improvements for this task view are very welcome and can be made through issues or pull requests on GitHub or via e-mail to the maintainer address. For further details see the Contributing guide. Rob J Hyndman, Rebecca Killick (2023). CRAN Task View: Time Series Analysis. Version 2023-12-01. URL https://CRAN.R-project.org/view=TimeSeries. The packages from this task view can be ins
Rで計量時系列分析：状態変化を伴うモデル（閾値モデル、平滑推移モデル、マルコフ転換モデル） - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事までは多変量時系列モデルとしてのVARモデルを扱ってきました。今回は一旦このシリーズの最終回ということで、元の単変量時系列モデルに戻って「状態変化を伴うモデル」を扱ってみようと思います。 ということでもはや毎回恒例になってますが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る ただし今回の最後に出てくるマルコフ転換モデルは沖本本の説明では不足と思われるので、Hamilton本もあった方が良いです。 Time Series Analysis 作者: James D. Hamilton出版社/メーカー: Princeton Univ Pr発売日: 1994/01/11メ
Rで計量時系列分析：AR, MA, ARMA, ARIMAモデル, 予測 - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事では計量時系列分析とは何ぞや？みたいなところをやりましたので、今回はいろはのイともいえるARIMAまわりから始めていこうと思います。 ということで改めて、使用テキストはいつものこちらです。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人 クリック: 101回この商品を含むブログ (6件) を見る 以下タイトルにのっとってRで各モデルの挙動を見ながらやっていきます。 必要なRパッケージ {forecast}をインストールして展開して下さい。Rそのものの初心者向け説明はここでは全面的に割愛するので、適宜何かしらの初心者向け説明をご参照あれ。 今回のモデルで目指すもの 前回の記事では、要は「自己相関が大事よー」という話を何度もしました。ということは、時系列モデリング
異常検知（変化点検出）のパッケージを作ってみた - yokkunsの日記
時系列的な振る舞いの変化点を検出するためのパッケージを作ってみました。 CRAN: http://cran.r-project.org/web/packages/ChangeAnomalyDetection/ github: https://github.com/yokkuns/r-AnomalyDetection Usage changeAnomalyDetection(x, term = 30, smooth.n = 7, order = c(1, 0, 0), ...) x 時系列の数値ベクトル term 学習期間 smooth.n 移動平均の期間 order arima関数に渡すorder ... arima関数に渡すその他パラメータ 実行例 パッケージ読み込み library(ChangeAnomalyDetection) library(RFinanceYJ) library(
ボカロ楽曲のニコニコ動画投稿数を時系列解析する - 驚異のアニヲタ社会復帰の予備
ニコニコ動画への投稿数を時系列解析する。 どんなときに投稿数が増減するか、またその予測をする。 事後(というか事前にもわかっていたけど)ボカロの誕生日に投稿数が跳ね上がっていた。 解析結果を見た先輩が 「この2年ほどで初音ミクの誕生日(8月31日)に投稿数も変化点スコアも低下傾向にあるから、オワコン化してきてるんじゃないの?」 と指摘され激怒した。ただ、誕生日での観測に限っていうと、投稿数はなんとなくシグモイドカーブに乗っていて、が2年くらいな気がする。 変化点検出には昔動かせなくて悔しかった、ChangeAnomalyDetectionを使う。 ベイズ変化点検出bcpパッケージも使う。 時系列データでは、データがランダムウォークしているか否か、が重要で、Phillips–Perron testで検定できる。 今回のデータは p=0.01 で、帰無仮説：ランダムウォークである は棄却された
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
拡張カルマンフィルタによるロトカ・ヴォルテラ方程式へのデータ同化 - 廿TT
RPubs - The time series of JGB Interest Rate(10Y)
Chapter 8 ARIMA models | Forecasting: Principles and Practice (2nd ed)