《さらに、大規模で高性能なモデルを教師AIとして、小規模なモデルを生徒AIとして学習させることを「蒸留（distillation）」と言います》《AIは蒸留しても性能がほとんど落ちないことがよく知られています》←驚き！

tokyocat のブックマーク 2023/10/02 23:09

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4743031135123276911/comment/tokyocat" data-user-id="tokyocat" data-entry-url="https://b.hatena.ne.jp/entry/s/president.jp/articles/-/74339?page=6" data-original-href="https://president.jp/articles/-/74339?page=6" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fpresident.jp%2Farticles%2F-%2F74339%3Fpage%3D6" data-user-icon="/users/tokyocat/profile.png">AIはいったい何を｢学習｣しているのか…｢生成AIにできて､コンピュータには決してできないこと｣とは ｢ChatGPT維持費1日7000万円｣問題も解決に向かう (6ページ目)</a><br><p style="clear: left">《さらに、大規模で高性能なモデルを教師AIとして、小規模なモデルを生徒AIとして学習させることを「蒸留（distillation）」と言います》《AIは蒸留しても性能がほとんど落ちないことがよく知られています》←驚き！</p><a class="datetime" href="https://b.hatena.ne.jp/tokyocat/20231002#bookmark-4743031135123276911"><span class="datetime-body">2023/10/02 23:09</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

AIはいったい何を｢学習｣しているのか…｢生成AIにできて､コンピュータには決してできないこと｣とは｢ChatGPT維持費1日7000万円｣問題も解決に向かう (6ページ目)

president.jp2023/10/02

教師AIが生徒AIを学習させる「蒸留」学習というのは、AIのなかにある定数を調整することを意味します。この調整には膨大な計算が必要で、定数の数も、規模が大きいものでは数千億個といった膨大なものになります...

1 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

AIはいったい何を｢学習｣しているのか…｢生成AIにできて､コンピュータには決してできないこと｣とは｢ChatGPT維持費1日7000万円｣問題も解決に向かう (6ページ目)

はてなブックマーク

公式Twitter

はてなのサービス

AIはいったい何を｢学習｣しているのか…｢生成AIにできて､コンピュータには決してできないこと｣とは ｢ChatGPT維持費1日7000万円｣問題も解決に向かう (6ページ目)

はてなブックマーク

公式Twitter

はてなのサービス

AIはいったい何を｢学習｣しているのか…｢生成AIにできて､コンピュータには決してできないこと｣とは｢ChatGPT維持費1日7000万円｣問題も解決に向かう (6ページ目)