タグ

2020年7月21日のブックマーク (1件)

  • GPT-3の衝撃 - ディープラーニングブログ

    この1週間はGPT-3のユースケースの広さに驚かされる毎日でした. シリコンバレーでは話題騒然ですが日ではほとんど話題になっていないので,勢いで書くことにしました. GPT-3OpenAIが開発した言語生成モデルです.名前の由来であるGenerative Pretrained Transformerの通り,自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています. 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され,様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています. 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め,誇大広告気味だと警鐘を鳴らす事態に発展しています. This is mind blowing. With GPT-3, I built

    GPT-3の衝撃 - ディープラーニングブログ
    medihen
    medihen 2020/07/21
    "Web上の大量の未分類の文章で「次に来る文章」の予測を事前学習した結果,質疑応答や翻訳といった個別のタスクを遂行するほどに後続する文章の予測精度が上がった"