Chat VectorにならぬCode Vectorは作れるのか｜はち

はじめにChat Vectorと呼ばれる、重みの足し引きでFine TuningなしにChat能力を事前学習モデルに付与できるという技術あります。 事前に訓練されたベースモデル（例えばLLaMA2）の重みから、対応するチャットモデル（例えばLLaMA2-chat）の重みを引くことで得られる。継続的に事前訓練されたモデルの重みにChat Vectorを追加するだけで、さらなる訓練を必要とせずに、新しい言語でのChat機能をモデルに与えることができる。 https://arxiv.org/abs/2310.04799のAbstructの和訳つまりこういうことですね。 ChatVector = Llama2-chat - Llama2 でChat能力を抽出し、 New-Model-chat = New-Model + ChatVector でNew-ModelにChat能力を付与できます。（この

[misshiki]

“Chat Vectorと呼ばれる、重みの足し引きでFine TuningなしにChat能力を事前学習モデルに付与できるという技術あります。”