![](https://cdn-ak-scissors.b.st-hatena.com/image/square/0dbb2964c1a363aeb07de75b1dd14b0fe7bfa8dd/height=288;version=1;width=512/https%3A%2F%2Fstorage.googleapis.com%2Fzenn-user-upload%2Favatar%2Fbc94ee57ca.jpeg)
エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
松尾研 LLM大規模言語モデル講座 2023
第1回:Overview of Language Models 言語モデルとは ある単語の系列(文章)がどれくらい発生しやすいか... 第1回:Overview of Language Models 言語モデルとは ある単語の系列(文章)がどれくらい発生しやすいかをモデル化したもの p(日本, の, 首都, は, 東京) = 0.02 p(日本, の, 首都, は, パリ) = 0.00001 様々な言語タスクが生成確率の推定問題として扱える 翻訳(ある英語文に続くのに相応しい日本語は?) 自己回帰モデル 条件付き確率がわかると生成もできる ニューラル言語モデル 条件付き確率を何らかのニューラルネットで推定したモデル 誤差逆伝播 Transformer self Attentionを中心にしたネットワーク構造 GPTやPaLM、LLaMAもTransformerを用いた言語モデル GPT(Generative Pretraining Transformer) OpenAIが2018年に発表 事前学習にTransformer