テキスト埋め込みモデルの蒸留に関する調査

テキスト埋め込みモデルの蒸留に関する調査 こんにちは！名古屋大学大学院 博士1年の矢野千紘です。 8月1日から9月30日までの2ヶ月間、株式会社レトリバのインターンに参加させていただきました。本記事ではインターンで取り組んだ、テキスト埋め込みモデルの蒸留に関する調査について紹介します。 テーマの概要 近年の言語モデルは高度化とともに大規模化が進んでいます。しかし、実応用においては大きなモデルは推論コストの観点から使いにくい場面も多いです。そこで、大きくて強いモデルを能力は維持したまま小さくしようという試みが存在します。 知識蒸留はそんな試みの一つであり、教師モデルと呼ばれる強いモデルの出力を利用して、生徒モデルに知識を落とし込もうという手法です。 知識蒸留のイメージ テキストを計算可能な表現に変換する、テキスト埋め込みモデルにおいても大規模化は進んでいます。以下はMTEB (Massive

[sh19910711]

"KLD: 教師モデルの類似度行列と生徒モデルの類似度行列にsoftmaxをかけ、KL Divergenceで近似 / CKD: 教師モデルと生徒モデルの作った文埋め込みの類似度をとり、CrossEntropyで近づける"