AIはいったい何を｢学習｣しているのか…｢生成AIにできて､コンピュータには決してできないこと｣とは ｢ChatGPT維持費1日7000万円｣問題も解決に向かう (6ページ目)

教師AIが生徒AIを学習させる「蒸留」 学習というのは、AIのなかにある定数を調整することを意味します。この調整には膨大な計算が必要で、定数の数も、規模が大きいものでは数千億個といった膨大なものになります。 また、一度学習したAIに対して、新しいデータセットで微調整をかける学習を行うことができます。これをファインチューニングと言います。

[tokyocat]

《さらに、大規模で高性能なモデルを教師AIとして、小規模なモデルを生徒AIとして学習させることを「蒸留（distillation）」と言います》《AIは蒸留しても性能がほとんど落ちないことがよく知られています》←驚き！