【ローカルLLM】言語モデルの知識編集を試す（Knowledge Editing）｜Baku

言語モデルの研究領域の一つに「知識編集(Knowledge Editing)」というものがあるらしい。 近年は言語モデルの大規模化による開発コスト膨張が問題になっており、既存モデルをより長く利用するための低コストな知識更新手法に注目が集まってる（らしい）。 とはいえ既存の知識編集手法は不確実性が高いうえ、モデル性能が劣化する副作用も存在する（らしい。こちらやこちらのアブストラクトを参照）。 言語モデルの知識編集そもそも知識編集ってなんなのか、と思って検索したところ、こちらによくまとまっていた。 https://github.com/zjunlp/EasyEdit/blob/main/tutorial.pdf基本的には追加学習やRAGとは異なるアプローチを指すらしい。 追加学習による知識更新は高コストで副作用が多い。RAGによる知識更新は一時的でスケーリングもしづらい。そこで、より局所的＆恒

[sh19910711]

"与えたテキストが知識として汎化しているか + 編集の影響が無関係な知識にまで及んでいないか + 編集された知識を活用して推論ができるか / ROME: ファインチューンよりもはるかに簡単・確実に知識を追加できる" 2023