エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
e5-mistral-7bを蒸留して中程度の大きさの埋め込みモデルを学習する|oshizo
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
e5-mistral-7bを蒸留して中程度の大きさの埋め込みモデルを学習する|oshizo
2023/12にintfloatからintfloat/e5-mistral-7b-instructという、7BのLLMを埋め込み用にファインチューニ... 2023/12にintfloatからintfloat/e5-mistral-7b-instructという、7BのLLMを埋め込み用にファインチューニングしたモデルがリリースされました。 このモデルは日本語の評価でもかなり優秀ですが、通常使われる埋め込みモデルと比べモデルサイズが大きく、使えるシーンは限られます。 使い勝手を向上させるために、もう少し小さいモデルに蒸留ができるかを試しました。 今回は同じ埋め込み次元を持つ1.9bのモデルへの蒸留を試しました。 STS関連のタスクは成功したものの、検索タスク(MIRACL)の評価が元モデルほど良くならず、モデルサイズに見合った精度とは言えない結果です。 表の一番上の行が今回蒸留したモデルです。 日本語対応の埋め込みモデルの評価 埋め込み次元、パラメタ数、タスクの評価結果 https://github.com/oshizo/JapaneseEmb