言語モデルはどのようにして知識を蓄えているのか？ 関連文献の紹介

この記事は Ubie Engineering Advent Calendar 2023 15日目の記事です。私は現在、 新しいプロダクトのプロダクトオーナー (PO) として働きつつ、機械学習エンジニアとして大規模言語モデル（LLM）を活用する業務にも携わっています。Ubie は LLM にかなり力を入れており、社員の生産性向上 やプロダクトへの機能追加 など、色々なところで LLM が活用されています。 また、私が所属するチームでは、既存の大規模言語モデル（LLM）の活用に加えて、LLM 自体に関する理解を深め、知見を蓄積する取り組みも行っています。その中で特に「言語モデルはどのようにして知識を蓄えているのだろうか？」という問いは、非常に興味深いと感じました。そこで、この記事では、言語モデルと知識獲得に関する文献をいくつか紹介したいと思います。 知識ベースとしての言語モデル そもそも「言

[misshiki]

“「言語モデルはどのようにして知識を蓄えているのか」という観点で最近読んだ文献を紹介”