時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高いAI分野の科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 英オックスフォード大学や英ケンブリッジ大学などに所属する研究者らが発表した論文「AI models collapse when trained on recursively generated data」は、AIモデルが自己生成したデータで繰り返し学習すると、モデルの性能が低下していく「モデル崩壊」という現象を発見した研究報告である。 研究チームは、大規模言語モデル（LLM）、変分オートエンコーダー（VAE）、ガウス混合モデル（GMM）など、幅広い生成AIモデルを対象に実験を行った。その結果、AIモデルが生成したデータを次世代のモデルの学習に
ピエール瀧 さんのYouTube旅番組「ピエール瀧 YOUR RECOMMENDATIONS」の６thシーズンが８月１日から始まりますよ!? ≪雑記・めちゃ推しYouTube≫ - YANO-T’ｓ blog
［本ページはプロモーションが含まれています］ ｲﾒｰｼﾞ ブログの前のみなさ～ん、 今回もYANO-T's blogにお越し頂き ありがとうございます。 感謝感謝。 広告・ｽﾎﾟﾝｻｰﾘﾝｸ 今回のテーマは ピエール瀧 さんのYouTube旅番組「ピエール瀧 YOUR RECOMMENDATIONS」の６thシーズンが８月１日から始まりますよ!? 突然ではありますが、 YouTubeを何気なしに見ていたら、 ピエール瀧 さんの旅番組、 「ピエール瀧 YOUR RECOMMENDATIONS」 ６thシーズンが始まると告知されてました。 この旅番組、めっちゃ面白いです(*^▽^*) その告知がこちら!!! ピエール瀧【#ユアレコ】6thシーズン予告編 youtu.be ■YOUR RECOMMENDATIONS （毎週木曜22時更新） ピエール瀧が、道行く人に「あなたのオススメは？」と尋ね、
私は自動車業界に関わり、自動運転に関する研究に関わっており、その中で非常に興味深い Survey 論文を見かけました。 こちらは、「データ中心の自動運転技術」にフォーカスして、歴史的な流れから自動運転の手法について様々な角度からピックアップしている論文です。しかし、こちらの論文だけを読んでいると、派生する論文なども読む必要があり、前提知識が求められてしまったので、自動運転関連の近年の取り組みに関する論文について特に私が着目しているものを中心に要約していきます。翻訳や解釈の正確さを保証するものではありませんので、適宜原文と照らし合わせてご確認いただければと思います。 また、内容はさまざまな論文から引用しており、都度引用論文を明記しております。私個人の解釈については私の意見であることも文章中に明記しております。 Introduction 現在、自動運転アルゴリズムの性能には限界があり、限界を克
関連キーワード 人工知能 | 機械学習 テキストや画像、音声、ソースコードなど、さまざまなコンテンツを生成する人工知能（AI）技術である「生成AI」の発展には、深層学習モデルが大きく寄与している。本稿は、その中でも代表的な以下の深層学習モデルについて解説する。 GAN（Generative Adversarial Network：敵対的生成ネットワーク） VAE（Variational Auto Encoder：変分オートエンコーダー） 拡散モデル （Diffusion Model） Transformer（トランスフォーマー） NeRF（Neural Radiance Fields） 「GAN」「VAE」「Transformer」とは？ 5つの深層学習モデルを解説 併せて読みたいお薦め記事 生成AIの基礎技術解説 LLMの徹底理解に欠かせない「ELIZA」「Seq2Seq」「Transf
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIが“AI生成コンテンツ”を学習し続けるとどうなる？→「モデル崩壊」が起こる 英国チームが発表
【サーベイ】大規模言語モデル時代の「データ中心の自動運転モデル」
GAN、VAE、Transformerとは？ 生成AIがよく分かる「深層学習モデル」5選