エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
GPTはなぜ文脈内学習ができるのか?|澁谷直樹
最近読んだGPT関連の論文で面白いものがあったので紹介します。 Why Can GPT Learn In-Context? Languag... 最近読んだGPT関連の論文で面白いものがあったので紹介します。 Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers この論文のタイトルを日本語にすると、「GPTはなぜ文脈内学習ができるのか? 言語モデルはメタ最適化器として秘密裏に勾配降下法を行っている」となります。 以前、GPT-3の解説でも触れましたが、GPT-3は大量の文章を読んで学習した後、少数の例を見せるだけで、その例からのパターンに合わせて文章を生成できるというすごい能力を持っています。これを文脈内学習(In-Context Learning)と呼びます。つまり、与えられた例文の文脈から学んだ上で新しい文章を生成することができます。 文脈内学習ではニューラルネットワークのパラメータの更