OpenAIはGPT-3の次の研究を始めています. 世間がGPT-3のデモに湧き上がる中,OpenAIはScaling Lawに関する2本の論文をひっそりと公開しました. Scaling Lawを一言で説明するなら「Transformerの性能はたった3つの変数のべき乗則に支配されている」というものです. Scaling Lawはそれ単体だけなら興味深い話で終わるかもしれません.実際に英語圏でもあまり話題にあがっていません.しかし,この法則の本当の凄さに気づいている研究者もいて,なぜ話題にならないのか困惑しています. I am curious why people are not talking more about the OpenAI scaling law papers. For me, they seem very significant. What I heard so far:
![OpenAIが発見したScaling Lawの秘密 - ディープラーニングブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/34499a2ee97add432a24c90531410777afc5f790/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FR%2FRyobot%2F20210104%2F20210104061232.png)