「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ

先日、こちらのポストをお見かけしました。 AI技術開発部の高橋が社内勉強会の資料「時系列予測にTransformerを使うのは有効か？」を公開しました。 論文Are Transformers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GO Inc. AI Tech (@goinc_ai_tech) 2023年9月28日 なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔「沖本本」で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。 なお、元論文2点は上記リンクから辿

[kusomamma]

この手の話に食いつくのは、株価と睨めっこする人たちなんだろうけど、時系列変動で株価が決まるなら、業績が無意味ってことで。もちろんそんなことはなく時系列変動は結果であって、予測のための入力変数ではない。

[nakag0711]

時系列そのものだけ見て予測という考え自体が根本的に問題ある。物理の波動現象みたいに現象そのものが自分自身の過去から決まるようになっている場合以外には無理がある

[cartman0]

まあ実際回帰するようなタイプじゃないとわからんというオチよね

[rityel]

毎回忘れずに僕は素人なのでってダサい予防線張るのもうそろそろやめてくれや……何年言い続けてるのよ

[takashi_kun]

時系列分析は正直あまりやりたくないタスクの一つ。周期性もデータ粒度に依存するし、簡単にleakするし、ラグの取り方もある。時間をかけたデータ調査とモデリングが必要

[crybb]

本筋からずれるけど仕手筋的な動きって株価の時系列だけ見ても予測できそうだよね。短期的、局所（ボロ株）的ならいける？後ろ向きすぎるけども

[misshiki]

“結局、Transformerご自慢の(self-)attentionという仕組みと、世の中に溢れる一般的な時系列データが持つ「トレンド」「周期性」「ドリフト」「レジームスイッチ」といった気まぐれ感ある特徴との相性が悪い”

[beginnerchang]

その分野の素人なら、その分野の技術記事を書かないのが正解だとは思わないの？何を知ったかぶっているの？

[augsUK]

特定のニュースや噂をLLMと機械学習で数値した上で株価に反映されるまでの時間遅れを求めて利ざやを抜くならまだしも、株価の時系列データを入力に時系列データの未来予測をする問題設定が本質的に厳しい。

[fhvbwx]

時系列予測用機械学習が開発されるのは時間の問題な気がするが、そうなると金融トレーディング業界が崩壊するのでそれはそれで問題

[auto_chan]

ランダム／カオスに振る舞うデータはいくら学習してもただの乱数生成装置が生まれそう。パターン認知も徒労に終わりそう。予測可能なトレンド／正のフィードバックや何かしらの歪みを人間より正確にとらえるには……

[sds-page]

周期性があるものはいいけど複雑なものはまだまだか

[takmin]

s4みたいな直交関数の係数を学習させるようなNNモデルならどうだろう。

[deejayroka]

“Transformerになると「attentionが過去サンプルの重要性にバラバラに重みづけをかけてしまうためにサンプルサイズが小さいと容易に過学習してしまいドリフトや状態変化があると追従できない」ということなのかも”