はてなブックマーク

こんにちは、PredNextの徳永です。本当は週1くらいで更新するつもりにしていたのですが、ずいぶんと更新が滞ってしまいました。この忙しさで品質にこだわり始めると年に1〜2本しか記事を書けなくなってしまうので、次からは細かいところには目をつむって素早く更新することを心がけます。 閑話休題、2025年、拡散言語モデルであるMercury Coder、Gemini Diffusion、Dream 7B などが少し話題になりました。まだ実用的に使われている事例が出てきているとは言いづらい状況ですが、注目が集まっているとは言えるでしょう。 現状のLLMのモデルアーキテクチャであるTransformer（より正確には、自己回帰モデル型のTransformer）は、実行効率の面で根本的な問題を抱えています。特に、一つのプロンプトだけに対して応答を生成する場合、実効効率がどうしても低くなりがちです。この