時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
生成AIをめぐるもうひとつの循環取引疑惑
こんにちは。 前回はGPU製造のトップ企業、エヌヴィディアを中心とする循環取引――2社以上の企業がお互いに相手先に対する架空の売上を計上して実態より高い収益をあげているように見せかける手法――について説明させていただきました。 今回は架空売上の規模ではGPUをめぐる循環取引より大きい可能性が高い、生成AIとクラウド事業をめぐる循環取引疑惑について詳述したいと思います。 なぜ誕生して間もなく、まだまだ急成長期にあるはずの生成AIが循環取引という姑息な手段で売上高のカサ増しをしなければならないかと言うと、鳴りもの入りで華々しく登場しながら、正直な数字を出せばがっかりするほど収益成長率が低いからです。 生成AIの普及は遅々として進まない エヌヴィディアは最新のH100型GPUを2023年1年間だけでマイクロソフトとメタ（フェイスブック）には15万個ずつ、アルファベット（グーグル）、アマゾン、オラ
１兆８０００億。 それはそれとしてGPT4oのパラメータ数はどのくらいなんだろう。MOE,,,,, - Qiita
Nvidia の偉い人 がGPT4o のトレーニングについてリークしたみたいですね。MOE なんとか が何とかといってたそうですね。 それはそれとして Manba モデルでシーケンス長を大きくした場合の生成テキストの違いを検証します。 シーケンス長 10, 20, 100, 200 ,300, 500 で比較してみます。 Seq 長さ 10、深さ 4: 将来、AI の力が社会の隅々に浸透しています。 ビジョン。 翻訳、および中国の伝統と入力データ。 興奮に魅了されます。 彼の方法は、数学と西洋の AI の謎を解き明かし、さらに多くの課題に取り組みます。 宇宙で。 アレックスの洞察力とエネルギー効率の共通の目標は、彼の仕事です。 アレックスの最新のテクノロジーは、計算の助けになります。 ある夜、アレックスのテーマは日本語に翻訳されました。 予想よりもはるかに速く、信じられないほど速く完成しま
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
