OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ
OpenAIはGPT-3の次の研究を始めています． 世間がGPT-3のデモに湧き上がる中，OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました． Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです． Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません．実際に英語圏でもあまり話題にあがっていません．しかし，この法則の本当の凄さに気づいている研究者もいて，なぜ話題にならないのか困惑しています． I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
深層学習による非滑らかな関数の推定
1. The document presents a method for deep learning using variational autoencoders that model the relationship between pairs of data points (x1, x2). 2. It introduces variables to represent latent vectors z and z~ that are used to generate x1 and x2, as well as a subset S of dimensions that relate x1 and x2. 3. The method works by training an encoder qφ(z|x) to approximate a prior p(z) and maximiz
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
深層学習の数理：カーネル法, スパース推定との接点
深層学習の数理
オープンハウス2019スライド.pdf
