Deepseekでも使われてる技術「蒸留」ってなに？ - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 「蒸留」ってなに？ 皆さん「蒸留」という言葉からは、お酒を作る場面やアロマオイルを抽出する場面を思い浮かべるかもしれません。実はAIの世界にも「知識蒸留」というテクニックがあります。これは、簡単に言うと「大きくて賢いモデル（教師モデル）が持っている知識を、小さくて軽量なモデル（生徒モデル）に教え込む」方法です​。 先生が自分の知恵を要点だけノートにまとめて、生徒に渡すようなイメージですね。大規模なAIモデルは高性能ですが、サイズが大きく計算コストも莫大です。知識蒸留を使えば、その高性能な教師モデルの知識の“エッセンス”を抽出して生徒モデ

[raitu]

"先生が自分の知恵を要点だけノートにまとめて、生徒に渡すようなイメージですね"

[KoshianX]

これでローカルで動くくらい小さいモデルが作れるとおもしろいんだけどなあ

[diveintounlimit]

読み物としてとてもおもしろかった

[nekoline]

deepseek-r1:8b がMacBookAir程度でもで動くのマジですごい

[misshiki]

“「蒸留」ってなに？、知識蒸留の基本概念とメカニズム、知識蒸留の3つの手法 ロジット蒸留（応答ベース蒸留） 特徴蒸留（特徴マップ蒸留） アテンション蒸留 PyTorchで知識蒸留、知識蒸留はどこで使われている？”

[nakag0711]

内部構造を全く参照しない形の蒸留はないのだろうか