Chat Vectorを使って日本語LLMをチャットモデルに改造する - Qiita

はじめに Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages という論文では、LLMの学習済み重みパラメータの足し引きによって、事前学習済みモデルに対話能力を与えることができるという結果が示されています。 具体的には、英語で事前学習されたモデル（以下ではベースモデルと呼びます）と、ベースモデルを指示チューニング (instruction tuning)してチャット形式の対話ができるようにしたモデル（英語チャットモデル）、ベースモデルを英語以外の言語で継続事前学習したモデルの３つのモデルを用います。 英語チャットモデルの重みからベースモデルの重みを引いたものは、チャット形式で対話ができる能力を表したベクトルであり、そのベクトルを

[stealthinu]

同一学習済みモデルに追加学習したものは学習内容ベクトルの足し算引き算が出来るっていう件で、実際に英語チャット学習を日本語モデルに足した実験。実際に出来てるのほんとすげえ！となる。