LinkedInが開発した時系列モデル“Greykite”の理論と実装 - ぱぐみの部屋
時系列データのモデリングとして、以下のような手法がメジャーかなと思います。 ARIMA Prophet 状態空間モデル RNN LSTM DeepAR 今回は、2021年に発表された比較的新しい手法であるGreykiteのご紹介をしていきます。 注意：本記事は2022年11月時点の情報をもとに記載しております。ライブラリの変更等により本記事の記載内容が古くなる可能性がありますが、ご了承ください。 Greykiteとは? LinkedInが2021年にOSSとして公開した時系列予測モデルです。機械学習分野の国際会議であるKDD2022でも発表されたようです。 KDD2022よりLinkedInによる時系列予測OSS Greykite (https://t.co/wpsCnuak2t) の紹介論文。コアとなるSilverkiteというアルゴリズムの紹介が中心で解釈可能性と速度が売り。Proph
SARIMAで時系列データの分析（PV数の予測） - kumilog.net
統計モデルでの時系列データの分析手法であるSARIMAを使って、PV数の予測分析を行います。 はじめに データの準備 データの確認 PV数 PV / エントリ数 相関関係 コレログラム 成分分解 定常性の確認 時系列データの前処理 差分 季節調整 差分+季節調整 時系列データの予測 SARIMA 学習データとテストデータ モデルの推定 ACFとPACFよりパラメータ候補を選定 予測 RMSEで評価 プロット 残差の確認 Grid Search まとめ 参考 読んだ本 参考になったサイト はじめに 通常、分析で用いるデータは同一の確率分布から得られ、互いに独立である*1ことが前提となっていますが、時系列データは、時間的に互いが関連するデータです。 時系列データはビジネスにおいてもよく見られるデータであり、様々な分析手法があります。そこで、時系列分析手法の一つであるSARIMAを用いて、本サイ
Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
OpenTelemetryについての現状まとめ （2020年6月版） - YAMAGUCHI::weblog
はじめに こんにちは、StackdriverあらためGoogle Cloud Operations担当者です。ここ最近は業務でOpenTelmetry関連をほそぼそとやってきたんですが、ようやくOpenTelemetryも安定版リリースのめどが立ってきたので、これまでと現状と今後を簡単にまとめておこうと思って書き始めたら、全然簡単じゃなくて10000文字超えました。（なおこのシリーズは今後も続きそうな気がするのでタイトルに日付を振っておきました） TL;DR 分散トレースとメトリクスの計装フレームワークとしてOpenTelemetryというものがCNCF Sandboxプロジェクトとして進行中。これはOpenTracingとOpenCensusのマージプロジェクトであり、各々の正式な後継版である。 とはいうものの、まだ仕様もstableリリースになっておらず、当然各言語向けのライブラリも安
サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ
この記事は、第2回ウェブシステムアーキテクチャ研究会の予稿です。 ウェブシステムをモニタリングするために、高可用性、高書き込みスケーラビリティ、メトリックの長期保存が可能な時系列データベースが求められている。 これらを実現するために、性能特性の異なる汎用Key-Value Store(以下KVS)を組み合わせ、透過的に問い合わせ可能な、ヘテロジニアス時系列データベースであるDiamondを開発した。 この記事では、Diamondを分散システムの観点で捉え、アーキテクチャ、データ構造、実装を紹介し、考察によりFuture Workを議論する。 1. はじめに 2. アーキテクチャ アーキテクチャ概要 動作フロー データ構造 KVSの機能要件 3. 実装 実装概要 KVS間のデータ移動 データ位置の解決 費用特性 4. 考察と今後の課題 Diamondの欠点 将来機能 5. まとめ スライド
Granger因果による�時系列データの因果推定（因果フェス2015）
Rate-Distortion Function for Gamma Sources under Absolute-Log Distortion奈良先端大 情報科学研究科
実務の現場に多い時系列データ分析の際に注意しておきたい点を列挙してみる - 渋谷駅前で働くデータサイエンティストのブログ
こういうメタ分析系の記事を書く時というのは大抵ネタ切れの時なんですが（汗）、最近になってこの辺のポイントでつまずいて困っているビジネスデータ分析の現場の話を聞くことがまた増えてきたので自分向けの備忘録も兼ねて記事としてまとめておきます。 そうそう、時系列分析の話って厳密にやり始めるとキリがないので、例えば単位根過程まわり（特に共和分のあたりを含めた複数時系列間の関係性の話とか）は「トレンドに注意せよ」という大きなくくりにまとめて、厳密な議論は割愛して出来る限り実務面で押さえるべきポイントに絞ろうと思います*1。悪しからずご了承あれ。 周期性のあるデータには真っ先に季節調整を ビジネス時系列データは例えば毎日毎時の売上高とか契約数とかコンバージョン数とか、どこからどう見ても曜日変動とか24時間変動などの周期性が乗っているデータであることが多いです。にもかかわらず、その手の周期性に何の処理もせ
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 - にほんごのれんしゅう
機械学習のスタックしていた案件をFacebook Prophetで３日で返済した話 背景 広告代理店業を行なっており、クライアント企業から予算を預かって、インターネット広告やマーケティング業をしているのだが、クライアントの予算消化の異常値を監視したい 2016年半ばに外部のデータ分析専門の会社に、その日の予算消化が異常の場合、アラートを鳴らすシステムを外注開始、2016年10月に納品 2017年9月半ばに進捗率が芳しくないことが判明した。終わる見込みが立たなかったので、私が解決に当たる （ついでに"Machine Learning: The High-Interest Credit Card of Technical Debt[2]"と呼ばれる負債化してしまう機械学習のシステムとはという評価軸があったので、これらから今回使えそうなプラクティスを取り出して適応してみたいというモチベーションが
Prophet入門【Python編】Facebookの時系列予測ツール
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
Yahoo!の異常検知フレームワーク"EGADS"
Yahoo!がOSSとして開発している異常検知フレームワーク "EGADS" (Extensible Generic Anomaly Detection System) について書いた次の論文を読んだ： Generic and Scalable Framework for Automated Time-series Anomaly Detection (KDD 2015) リアルタイムなデータをモデリングする種のアルゴリズムの実装とはどうあるべきなのか、という話は難しい。 僕も異常検知や情報推薦のためのアルゴリズムをパッケージ化してみてはいるものの、 時系列データの入力、モデリング、予測、出力といったコンポーネントをいかに切り分けて実装するか バッチとオンラインアルゴリズムのバランスをいかに取るか どこまで自動化して、どこにヒューリスティクスを取り入れる余地を残すか といった点は本当に悩ま
トレンド・季節調整付き時系列データの回帰モデルを交差検証してみる - 渋谷駅前で働くデータサイエンティストのブログ
これは実は既に元ネタのあるテーマです。 Cross-validation for time series | Rob J Hyndman 個人的にはトレンド・季節調整付き時系列データの回帰モデルをやる場合はほぼ例外なくベイジアンモデリングで回すんですが、一般にベイズ系のモデルは例えばWAICやWBICのような情報量基準でモデルの汎化性能を推定することでモデル選択することができます。ところが、トレンド・季節調整付き時系列データのように回帰部分の尤度だけでは表せない、強い自己相関のある部分が大きいデータの場合は、モデル全体のWAICやWBICを算出する方法が（まだ？）ありません。 ということで交差検証(CV: cross validation)大好き人間の僕としては、普段は適当に「学習データ：古い方から80% / 検証データ：新しい側の残り20%」みたいなholdout CVしかやっていないん
時系列データベースという概念をクラウドの技で再構築する - ゆううきブログ
サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇
エンジニアが知っておいて損は無さそうなISOの標準規格たち - Qiita
「それ○○で標準化されているよ」って指摘されることほど、エンジニアにとっての屈辱は無いですよね。 ということで、世間知らずだと思われないためにも、手始めにISO縛りで有益そうな標準規格1をまとめてみました。 ちなみに、ISOとは…？ 国際標準化機構（International Organization for Standardization）は国際規格を策定する世界最大のボランタリーな開発組織で、国家間に共通な標準を提供することによって、世界の貿易を促進することに貢献している という組織だそうです。 (どう考えてもIOSと略すべきだと思うのですが、ISOになった理由は諸説2あるようです。) コード体系 ISO 639 (言語名コード) 例: 日本語 = ja, jpn 朝鮮語 = ko, kor 中国語 = zh, zho, chi, zho ドイツ = de, deu, ger, deu
pandas による 時系列データ処理 // Speaker Deck
All slide content and descriptions are owned by their creators.
はてな、サーバー監視サービス「Mackerel」が「将来予測機能」をリリース。サーバー枯渇時期などをシステムで自動予測しエンジニアの属人的な経験依存からの脱却を支援 - プレスリリース - 株式会社はてな
株式会社はてな（代表取締役社長：栗栖義臣／本社所在地：京都市中京区）は、サーバー監視サービス「Mackerel（マカレル）」の「将来予測機能」をリリースしました。Standardプラン利用者向けに、本日より提供を開始します。将来予測機能は、これまでMackerelが提供してきた「リアルタイム監視」のための機能ではなく、将来の予測をアルゴリズムで支援する新しい機能です。 ▽ Mackerelトップページ https://mackerel.io/ Mackerelは、はてなが「はてなブックマーク」や「はてなブログ」などの大規模な個人ユーザー向けサービスの提供で培ってきたサーバー・インフラ環境の管理ノウハウを基に開発したSaaS型サーバー監視サービスです。サーバーにおける各種ハードウェアやアプリケーションソフトウェアの性能をリアルタイムに監視することができます。 この度リリースした「将来予測機能
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Forecasting with Multiple Seasonality
11.1 Complex seasonality | Forecasting: Principles and Practice (2nd ed)
GitHub - yahoo/egads: A Java package to automatically detect anomalies in large scale time-series data
Prefix and Suffix Invariant Dynamic Time Warping
Time-series-database-world
