従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデータへの対応や推論時のメモリ使用量の削減を達成しつつトランスフォーマー型に匹敵する性能を出せるアーキテクチャ「RWKV」について、著者の一人がブログで解説しています。 The RWKV language model: An RNN with the advantages of a transformer | The Good Minima https://johanwind.github.io/2023/03/23/rwkv_overview.html How the RWKV l
大規模言語モデルへのプロンプト、重要な情報はどこに書く？ | AIDB
この記事では、スタンフォード大学などの研究グループが発表した新たな研究について詳しく解説します。この研究は、大規模言語モデルがどのように長いコンテキストを利用するかについての重要な洞察を提供しています。 大事な結論から言えば、大規模言語モデルに対するプロンプトでは、重要なことは最初か最後に書きましょう。 参照論文情報 タイトル：Lost in the Middle: How Language Models Use Long Contexts 著者：Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni, Percy Liang 所属：スタンフォード大、カリフォルニア大など URL：https://doi.org/10.48550/arXiv.2307.03172 関
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
数値で整理する大規模言語モデル(LLM) のメモ | ドクセル