Deepseekでも使われてる技術「蒸留」ってなに？ - Qiita

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? AI論文を手軽にキャッチアップできるpodcastのニュースレターを試験的に配信しています。 こんな感じのpodcastでスキマ時間に聞くだけで論文の概要をキャッチアップできます！ サンプル: https://open.spotify.com/episode/6OoOKIRmRAOrzk81cHp9hJ?si=V-xY1lp5SqavsXjSaK5jeg 元論文 この記事を読んで興味ある方はこちらのフォームから登録してみてください。 登録はこちらから → https://forms.gle/KbcYAz2AmDeKrGYT7 「蒸留」っ

[raitu]

"先生が自分の知恵を要点だけノートにまとめて、生徒に渡すようなイメージですね"

[KoshianX]

これでローカルで動くくらい小さいモデルが作れるとおもしろいんだけどなあ

[diveintounlimit]

読み物としてとてもおもしろかった

[nekoline]

deepseek-r1:8b がMacBookAir程度でもで動くのマジですごい

[misshiki]

“「蒸留」ってなに？、知識蒸留の基本概念とメカニズム、知識蒸留の3つの手法 ロジット蒸留（応答ベース蒸留） 特徴蒸留（特徴マップ蒸留） アテンション蒸留 PyTorchで知識蒸留、知識蒸留はどこで使われている？”

[ya--mada]

ディスティラーについての解説、とのこと。

[nakag0711]

内部構造を全く参照しない形の蒸留はないのだろうか