Googleが“一歩先の未来を予知”できる時系列予測AI基盤モデル「TimeFM」公開、LSTMの進化形「xLSTM」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第46回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ LSTMの進化形「xLSTM」登場。Transformerと同等かそれ以上の性能 Google、タンパク質を予測するモデル「AlphaFold 3」発表 Googleが“未来予知”する時系列予測AI基盤モデル「TimeFM」を開発。金融や気象、交通などの一歩先を予測 Llama3 70Bと同等の性能を示す、オープンソース大規模言語モデル「DeepSeek-V2」 IBM、コーディング専用AIモデル「Granite Code Models」を開発 LSTMの進化形「xLSTM」登場。Tra
Kerasを用いた複数入力モデル精度向上のためのTips | 株式会社カブク
はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は複数入力モデルの精度向上のためのTipsについて書きます。 背景 複数入力のモデルでは単一入力のモデルとは異なり、下記のような問題点があります。 – データによってロスに対する貢献度が異なり、ロスが下がりやすいデータを優先して学習してしまう。 – 学習の収束性はデータによって異なり、全体の最適化を目指すと個々のデータで過学習が発生してしまう。 1の問題を解決する方法として重み付きヘテロジニアスラーニング、2の問題を解決するためTask Wise Early Stoppingという手法が存在するので今回はその手法を紹介します。 注意点：両手法はマルチタスクラーニングに適用される手法のため、記事上ではタスクと表記しています。1入力を1タスクと置き換えて記述しています。 データ、前処理、モデル定義部分 データと前処理、モデル定義部
KerasでLSTMを学習する手順を整理してみた | 自調自考の旅
概要以下の記事でChainerを使った場合のLSTMを学習する手順を整理しましたが、本記事ではKerasを使った場合について同様に整理してみました。結論から言うと、単純にLSTMを使いたい、と言うニーズであればKerasの方がかなりお手軽でした。 kerasを使ってLSTMを使うまでの流れまずはtensorflowとkerasをインストールします。 pip install tensorflow pip install keras 次にkerasのLSTMに投げ込むデータセットを作成します。おそらくここが唯一分かりにくい部分ですので、絵を書いてみました。左側が元データ、右側がkerasのLSTMが必要とするデータの形式です。kerasのLSTMでは、左の列から右の列に向けてデータをLSTMに投入していき、一番右の列が出力として得られる仕様になっているようです（return_sequences
Kerasを用いた複数時系列データを1つの深層学習モデルで学習させる方法 - 株式会社カブク
はじめに カブクで機械学習エンジニアをしている大串正矢です。今回は複数時系列データを1つの深層学習モデルで学習させる方法について書きます。 背景 複数時系列データは複数企業の株価の変動、各地域における気温変動、複数マシーンのログなど多岐に渡って観測できます。この時系列ごとにモデルを用意して管理するとなると学習、運用において多大なるコストがかかってしまいます。1つのモデルで複数の時系列を管理できれば運用が楽になるだけでなく、学習も1度で済むのでトライアンドエラーの工数も大幅に削減できます。 本記事ではそのために実現可能な2つの手法を紹介します。 Kerasで複数の時系列データを深層学習モデルで学習させる手法には2つあります。 複数入力型の深層学習モデル 個別入力型の深層学習モデルの組み合わせ 1の手法の利点はモデルがシンプルなので学習と予測が2の手法に比べ高速になります。 2の手法の利点は時
Kerasで多変量LSTM - Qiita
単変量の時系列はkerasでもよく見るのですが、株価や売上などを予測する時などには複数の要因が関わってきますので、今回は複数の時系列データを使って予測してみました。 ソースの紹介 コード 「MACHINE LEARNING MASTERY」で紹介されているコードを基本に、多変量対応にしました。 Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras jupyterで見れるコードの全貌はこちら https://github.com/tizuo/keras/blob/master/LSTM%20with%20multi%20variables.ipynb データ サンプルデータは以下から拝借しました。一番左のice_salesを予測します。 アイスクリームの売れ方 ice_sales yea
初心者のRNN(LSTM) | Kerasで試してみる - Qiita
時系列データ解析の為にRNNを使ってみようと思い，簡単な実装をして,時系列データとして ほとんど，以下の真似ごとなのでいいねはそちらにお願いします． 深層学習ライブラリKerasでRNNを使ってsin波予測 LSTM で正弦波を予測する CHANGE LOG 2020/07/12 Sequenceの長さを25 → 50で再学習させた場合を追記 ライブラリをスタンドアロンKeras → Tensorflow.kerasに変更 ライブラリ from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Activation from tensorflow.keras.layers import LSTM from tensorflow.keras.optimizers impor
Kerasで最短(?)LSTM実装 - 雑記 in hibernation
RNNのチュートリアルとして、LSTMによる時系列予測モデルをKerasにて実装しました。 多分これが必要最低限の実装だと思います。 備忘録として記録しておきます。 1. LSTMとは LSTMは再帰型ニューラルネットワークであるRNNのバリエーションの一つで、主に時系列予測などの連続的なデータの処理に利用されます。原理の詳しい解説はここではしません。というかできません。 原理の解説記事はググるといっぱい出てきますが、特に以下のリンク先が参考になりそうでした。 LSTMネットワークの概要 - Qiita LSTM (Long short-term memory) 概要 LSTMのネットワークそのものはKerasを使えば割とあっさり実現できてしまいます。初めてLSTMを実装するにあたっては、モデルそれ自体よりも時系列処理のためのデータ分割や前処理がポイントになるかと思います。その辺りについて
KerasのRNNを触ってみる② - Qiita
はじめに この記事は、前回の続編です。 導入部分は前回を参照いただければと思います。 前回はSimpleRNNを 今回は、LSTMを使ってモデルを作ります。 １）モデル構築 学習データの作成部分は前回と同じなので割愛します。 今回は、LSTMクラスを使うので、モデル構築部分は下記のようになります。 （SimpleRNNがLSTMになっただけ） model = Sequential() model.add(InputLayer(batch_input_shape=(None, maxlen, in_out_dims))) model.add( LSTM(units=hidden_dims, return_sequences=False)) model.add(Dense(in_out_dims)) model.add(Activation("linear")) model.compile(l
KerasのRNN (LSTM) で return_sequences=True を試してみる - Qiita
はじめに Kerasを使うとRNN (LSTM) なども手軽に試せて楽しいです。フレームワークごとに性能差などもあるのでしょうが、まずは取っつきやすいものからと思っています（データと最低限の設定を準備すれば使い始められる）。Kerasなら何とかいけるかも？と思っています。 RNN系のレイヤー全体にいえることとして、「return_sequences」というパラメータが存在するのですが return_sequences=True って何？ という疑問が浮かびました。 Recurrentレイヤー - Keras Documentation 後で詳しく述べますが、時系列データに対する最終的な出力だけでなく、途中時点での出力を学習するための設定であるようです。 return_sequencesとは return_sequences: 真理値．出力系列の最後の出力を返すか，完全な系列を返すか． うん
KerasのステートレスLSTMとステートフルLSTMの違いについて - Qiita
Keras のステートレスLSTMとステートフルLSTMの勉強です。 ネット上の情報をかき集めて自分なりに実装しているので正確ではないところがある点はご了承ください。 追記：ステートフルLSTMと hidden state に関して記事を書きました。 Keras のステートフルLSTMと hidden state の関係を調査してみた 目次 KerasのステートレスLSTMとステートフルLSTMについて 実験に使うモデルセットの説明(アルファベット予測) 実験1：「1 文字 => 1 文字」マッピング 実験2：「3 文字特徴ウィンドウ => 1 文字」マッピング 実験3：「3 文字タイムステップ・ウィンドウ => 1 文字」マッピング 実験4：バッチサイズ 実験5：hidden state の保存と設定 コード全体 本記事で作成したコードは以下です。 ※1ファイル完結です。 ※Google
Keras の LSTM で時系列の予測がしたい - クッキーの日記
深層学習で時系列の予測がしたいときとかあると思います。 以下の記事を参考にさせていただきます。 qiita.com それで時系列データが手元にないので以下のサイトにある日経平均株価の日足をつかいます。 日経平均株価 1時間足 時系列データ CSVダウンロード 直近1000営業日の値動きをプロットすると以下です。縦軸は学習のためにスケーリング済みです。 以下のコードで学習します。参考記事のままです。前日まで10営業日分の株価を入力して当日の株価を予測するというモデルにします。900営業日分のデータで学習し、100営業日分のデータでテストすることにします。 # -*- coding: utf-8 -*- import numpy import pandas import matplotlib.pyplot as plt from sklearn import preprocessing fro
今更聞けないLSTMの基本 - HELLO CYBERNETICS
ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基本を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に
Understanding LSTM Networks -- colah's blog
Recurrent Neural Networks Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw everything away and start thinking from scratch again. Your thoughts have persistence. Traditional neural networks can’t do this, and it seems like a major shortcoming. For example, imagine you want to
わかるLSTM ～ 最近の動向と共に - Qiita
Machine Learning Advent Calendar 2015 第14日です。去年のAdvent Calendarで味をしめたので今年も書きました。質問、指摘等歓迎です。 この記事の目的 ここ2～3年のDeep Learningブームに合わせて、リカレントニューラルネットワークの一種であるLong short-term memory(LSTM)の存在感が増してきています。LSTMは現在Google Voiceの基盤技術をはじめとした最先端の分野でも利用されていますが、その登場は1995年とそのイメージとは裏腹に歴史のあるモデルでもあります。ところがLSTMについて使ってみた記事はあれど、詳しく解説された日本語文献はあまり見当たらない。はて、どういうことでしょうか。 本記事ではLSTMの基礎をさらいつつ、一体全体LSTMとは何者なのか、LSTMはどこに向かうのか、その中身をまとめ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Keras&TFLearnによるLSTMを用いたRNNの構築｜Whale1107｜note
<Keras> RNN, GRU, LSTMによる時系列予測 - Helve’s Python memo