LLM for 時系列分析の世界
以前、【LT大会#7】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれようで、時系列基盤モデルについてLTをさせて頂きました。 他発表者のLTも面白く、私自身も時系列基盤モデルについて理解を深める良いきっかけとなりましたが、心残りはLLMを絡めた手法については時間を割けなかったことです。 そこで今回はLLM for 時系列分析に関するアイディアを簡単にまとめてみます。 おことわり 学習目的で調査・作成した内容がベースとなっており、誤りや他に面白い論文・事例がありましたら、教えて頂けますと幸いです。 主に以下Survey論文・Collectionリポジトリで取り上げられている内容の一部を対象としています。より網羅的に知りたい方は下記リソースを直接ご参照ください。 Large Language Models for Time Series: A Survey Position: W
Kaggleで学ぶ系列データのための深層学習モデリング
最近は画像コンペではモデリングの余地があまりないことが多いが、系列データのコンペはデファクトの（pretrain）モデルが確立しておらずモデリングで勝敗が分かれることが多い。ここで系列データとは、時系列データ、センサデータ、RNA等のシーケンスデータのようなデータを意図している。 このような背景の…
VAR-LiNGAMによる時系列データの因果探索
VAR-LiNGAMによる時系列データの因果探索# LiNGAMによる因果探索（応用編）では因果探索のモデルの一つであるLiNGAMおよびそのパラメータ推定について、前処理や推定結果の解釈、信頼度評価の方法についても併せて解説しました。 本稿ではLiNGAMを時系列データに対して拡張したVAR-LiNGAM[3]の解説、およびPythonとlingamライブラリ用いたVAR-LiNGAMによる分析の方法について説明します。 VAR-LiNGAMの定義# VAR-LiNGAMとは、[3]にて提案された、時系列データ\(\mathbf{x}(0), \mathbf{x}(1), \dots , \mathbf{x}(T-1) \in \mathbb{R}^d\)における変数間の因果関係を表すモデル、およびそのパラメータ推定方法のことです。 VAR-LiNGAMは以下の数式を満たすモデルとして定
Moirai: A Time Series Foundation Model for Universal Forecasting
TL;DR: Moirai is a cutting-edge time series foundation model, offering universal forecasting capabilities. It stands out as a versatile time series forecasting model capable of addressing diverse forecasting tasks across multiple domains, frequencies, and variables in a zero-shot manner. To achieve this, Moirai tackles four major challenges: (i) construction of a LOTSA, a large-scale and diverse
Forecasting: Principles and Practice (2nd ed)
Forecasting: Principles and Practice (2nd ed) Rob J Hyndman and George Athanasopoulos Monash University, Australia Preface This is the second edition of Forecasting: Principles & Practice, which uses the forecast package in R. The third edition, which uses the fable package, is also available. Buy a print or downloadable version Welcome to our online textbook on forecasting. This textbook is inten
A Brief History of Time Series Models
[updated on December 11, 2023] TL;DR: For folks who are interested in learning more about time series models, below is an incomplete roadmap that attempts to summarize the development of this complex, fast evolving field. M Competition is the equivalence of ImageNet to computer vision for time series model and deep learning beat traditional statistical models for the first time in M4 that took pla
telearnを使って気象データをクラスタリングしてみる
この記事は建築環境/設備 Advent Calendar 2021の13日目の記事です。 tslearnというライブラリを使って時系列クラスタリングで気象データをグループ分けしてみます。気象データ以外でも負荷データの分析などでも使えると思いますが、とりあえずやってみたかったのでやることにしました。今回はtslearnで扱うk-means法やそれに類似した手法を使い、その他のクラスタリングには触れません。 手法の説明はふわっとしているので、より深く正確な内容を学びたい方はクラスタリングについて書かれている本やtslearnやscikit-learnのドキュメントを読んだり、そこで紹介されている論文に当たるとよいと思います。Colabで実行したPythonコードをここにおいています。 クラスタリングとは クラスタリングとは与えられたデータを類似度に基づいて自動的に分類する手法です。機械学習にお
時系列データの異常検知
本資料の内容 ・異常とは ・異常検知問題のタイプ ・時系列データのタイプ ・データの前処理 ・異常検知手法 ・性能検証 ・発展
Encoding cyclical continuous features - 24-hour time
Some data is inherently cyclical. Time is a rich example of this: minutes, hours, seconds, day of week, week of month, month, season, and so on all follow cycles. Ecological features like tide, astrological features like position in orbit, spatial features like rotation or longitude, visual features like color wheels are all naturally cyclical. Our problem is: how can we let our machine learning m
時系列データから大量の特徴量を生成するパッケージ「tsfresh」の使い方｜CO-WRITE
こんにちは！突然ですが、皆さんは下のような二種類の時系列データを判別できるような特徴量を抜き出したいときに何を考えますか？そしてどうやって特徴量を抽出しますか？ 私はパッと見て次の手法を使えば特性が取り出せると思いました。 ピークの数 → k近傍法 ノイズの大きさ → 分散統計量 時系列方向で周期成分の大きさ → Wavelet変換 しかし、当然これだけでは十分な数の特性を網羅できていないでしょうし、適切な特性を抜き出すためにパラメータチューニングを行う必要があります（例えば、Wavelet変換であれば適切な基底関数を選ぶ必要があります）。 このように時系列データの特徴量エンジニアリングは調べることが無限にあり、どの特徴量を算出するかを考えているだけで日が暮れてしまいます。また、抜き出す特徴量が決まったとしてもモノによっては計算が複雑で実装に時間がかかってしまう場合もあります。 そんなとき
時系列予測モデルの実践論２ －昔のKaggleを事例に－ - NRI Data Science BLOG
Part2 特徴量エンジニアリング 前回の振り返り... パート１では、実践的な多変量時系列予測モデルを構築するためのアプローチを紹介し、過去のKaggleコンペティション のデータセットを用いて、ベースラインとなるSeasonal Naiveモデルを作成しました。 今回のパート２では特徴量エンジニアリングを扱います。 時系列データの特徴量エンジニアリング NRIデータサイエンスブログへようこそ！NRIのデータサイエンティスト、時系列予測プラクティスチームのSatyakiです。 パート2では、特徴量エンジニアリング、特に時系列のMLモデルのトレーニングに使用される特徴量について説明します。 ARIMAやExponential Smoothingなどの伝統的な時系列モデルと異なり、機械学習モデルはクロスセクションデータを用いて学習させるため、それぞれの学習用サンプルは独立していると考えられま
LinkedInが開発した時系列モデル“Greykite”の理論と実装 - ぱぐみの部屋
時系列データのモデリングとして、以下のような手法がメジャーかなと思います。 ARIMA Prophet 状態空間モデル RNN LSTM DeepAR 今回は、2021年に発表された比較的新しい手法であるGreykiteのご紹介をしていきます。 注意：本記事は2022年11月時点の情報をもとに記載しております。ライブラリの変更等により本記事の記載内容が古くなる可能性がありますが、ご了承ください。 Greykiteとは? LinkedInが2021年にOSSとして公開した時系列予測モデルです。機械学習分野の国際会議であるKDD2022でも発表されたようです。 KDD2022よりLinkedInによる時系列予測OSS Greykite (https://t.co/wpsCnuak2t) の紹介論文。コアとなるSilverkiteというアルゴリズムの紹介が中心で解釈可能性と速度が売り。Proph
カルマンフィルタで1次元の車両位置を推定するPythonプログラム - EurekaMoments
カルマンフィルタの基礎 作者:足立修一,丸田一郎東京電機大学出版局Amazon 目次 目次 目的 理論 問題設定 条件 Pythonプログラム パラメータの定義 クラスとコンストラクタの実装 状態方程式の定義 疑似観測値と観測方程式の定義 カルマンフィルタの処理の定義 プログラムの実行結果 GitHub 目的 自分でも何故か分かりませんが、毎年一回は必ず カルマンフィルタの理論を勉強し直したくなる事が あります。 その度に書籍を読み返したり、サンプルプログラムを 実装したりして、「いろいろ忘れてるな」「実は理解 してなかったな」と感じるのがお決まりです。 なので、きっとこれからも定期的に学び直したくなる ときが来ると思ったので、ブログにまとめておくことに しました。 今回は最も基本的な問題である、線形カルマンフィルタで 1次元の自己位置推定を行うPythonプログラムを作ったので 紹介しま
系列データの統計モデリング 〜パーティクルフィルタによる状態推定〜 - 機械と学習する
【概要】 パーティクルフィルタを利用して系列データのモデリングと状態推定をやってみます 【目次】 はじめに 状態空間モデル 系列データ 系列データのモデリング 状態空間モデルの状態推定 パーティクルフィルタ パーティクルフィルタとは パーティクルフィルタのアルゴリズム 実装 おわりに 参考資料 はじめに 統計モデリングを行うにあたって、独立同分布(i.i.d; independent and identically distributed)を仮定することが多いと思います。 しかし、i.i.dを仮定できないケースはよくあります。時系列などの系列データが代表的です。また、i.i.dを仮定することが多い対象でも、計測対象や計測装置の経時的な変化（劣化）など本来的には系列を考慮しないといけない場面はあると思います。 系列データの解析について、主に「予測にいかす統計モデリングの基本」を参考に確認しま
Forecasting: Principles and Practice (3rd ed)
Forecasting: Principles and Practice (3rd ed) Rob J Hyndman and George Athanasopoulos Monash University, Australia Buy a print version Welcome to our online textbook on forecasting. This textbook is intended to provide a comprehensive introduction to forecasting methods and to present enough information about each method for readers to be able to use them sensibly. We don’t attempt to give a thoro
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列基盤モデルの世界
Time Series Analytics and Forecasting
Effectively Modeling Time Series with Simple Discrete State Spaces
Multivariate Probabilistic Time Series Forecasting with Informer
GitHub - carlomazzaferro/scikit-hts: Hierarchical Time Series Forecasting with a familiar API