子供でもわかる！蒸留・転移学習・ファインチューニングの違い

蒸留・転移学習・ファインチューニングの違い（大人向けの説明） 1. 蒸留（Knowledge Distillation） 大規模な教師モデル（Teacher Model）の知識を、小規模な生徒モデル（Student Model）に圧縮して伝える手法。 目的は、計算コストを下げつつ、精度をなるべく維持すること。 蒸留の方法には、教師モデルの出力（ソフトターゲット）を用いる方法や、中間層の特徴量を利用する方法などがある。 例えば、GPTのような大規模言語モデル（LLM）をそのまま使うと計算リソースが膨大にかかるため、蒸留を行い、小型モデルを作成することで、モバイル端末などでの運用が可能になる。 これにより、低コストかつ高速な推論を実現できる。 以下、画像認識モデルのResNet18を蒸留する実装イメージ。 蒸留の実装イメージ import torch import torch.nn as nn