以下の記事が面白かったので、かるくまとめました。 ・Merge Large Language Models with mergekit 1. モデルのマージモデルのマージは、2つ以上のLLMを1つのモデルに結合する手法です。これは、新しいモデルを安価に作成するための比較的新しく実験的な方法です (GPUは必要ありません)。モデルのマージは驚くほどうまく機能し、 「Open LLM Leaderboard」に多くの最先端のモデルが生成されました。 このチュートリアルでは、「mergekit」を使用して独自のモデル「Marcoro14-7B-slerp」を作成します。このモデルは、「Open LLM Leaderboard」 (02/01/23) で最高のパフォーマンスを誇るモデルになりました。 コードは「GitHub」および「Google Colab」で入手できます。「mergekit」を簡