どんなに長い文章でも破綻しない生成AI「StreamingLLM」、キャラクターの性格や話し方を模倣するAIなど重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge

2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第15回目は、大規模言語モデルでどんなに長い文章でも破綻しない手法、GPT-4で公開モデルの数学推論を強化する方法など、5つの論文をまとめました。 生成AI論文ピックアップどんなに長い文章でも破綻しない言語生成AIフレームワーク「StreamingLLM」 Llama-2に適応で400万トークン以上が可能に MITやMetaの研究者らが開発 「画像を外国語として学ぶ」 画像とテキスト入力で新画像を出力する生成AI「Kosmos-G」 マイクロソフトなどが開発 GPT-4 Code Interpreterでオープンソースモデルの数学推論を強化するフレームワーク「Math

[misshiki]

“大規模言語モデルでどんなに長い文章でも破綻しない手法、GPT-4で公開モデルの数学推論を強化する方法など、5つの論文をまとめました。”

[tattyu]

“Attention Sink” 面白い現象だな。長文破綻しないのは凄いが窓とsink外の設定は忘れてしまいそうだけどどうなんだろ。

[Seamless]

他3つは GPT-4で公開モデルの数学推論を強化「MathCoder」画像/文章入力で新画像を出力「Kosmos-G」関連した文章と画像を同時出力「MiniGPT-5」