Gemma 2Bを3種類のタスクで埋め込みモデルとして訓練しマージして比較する｜oshizo

埋め込みモデルのマージを実験してみました。 まず、Gemma-2Bをベースモデルとして、検索、NLI、分類の3タスクを想定した学習データで学習し、それぞれのタスクに特化した3つの埋め込みモデルを作成しました。 これらをマージすることで、タスクに特化したモデルよりも評価が高くなることが確認でき、埋め込みモデルでもマージが有効であることが分かりました。 ただし、特に検索性能は既存のモデルと比べて競える精度とはなっていません。もう少し改善出来たら公開したいです。 背景、モチベーション取り組みの背景として、関連する最近の話題をいくつか紹介します。 1. LLMを使った埋め込みモデルとモデルマージこれまでの埋め込みモデルは、BERTのような1B未満のパラメータの小規模なモデルが使われることが多かったのですが、最近ではLLMを使った埋め込みモデルも出てきています。 日本語に対応した小規模な埋め込みモデ