GPT-3の衝撃 - ディープラーニングブログ

この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built

[muchonov]

ML登場初期の「人間がやってることをやらせるためには知性や思考は必ずしも必要なく、良いデータセットと良い写像だけで事足りちゃうのかもな…」という印象が、肯定的に解決された感じがする。

[mochitabesugi]

数で比較するものでもないが、GPT-2のパラメータ数は15億で人間の大脳のニューロン140億に比べてまだまだだなと思っていたけど、GPT-3が1750億と聞いてその成長に驚いた

[rt24]

※この記事はGPT-3で書かれています

[kitamati]

4chanだけを学習させた悪意の塊みたいなやつを作ろう

[kastro-iyan]

簡単にできすぎてあまりすごく感じないのがすごい（語彙力）

[Keisuke69]

これはすごい。僕はこっち系全然ノーマークなんだけどこの短期間でこんなにも進化してるとは。流行りのNo Codeもこっち系から出てくると本当の意味でのNo Codeって感じする

[khtokage]

AIなら日本語も通じるんじゃね？ ってGPT-3映画検索で雑に日本語で書いてみたら普通に出てきた。すご。 https://bit.ly/32FkF4k

[wata88]

そんなうまい話があるのか？という気持ちがある

[sabro]

外から見て、意味理解してるように見える領域に片足突っ込んだ感あるな。これでも理解してるとは言えないんだろうけど

[Y_Mokko]

データセットが不適切なウェブサイトをどう除外してるのか気になるところ。

[suzx]

#メモ保存

[tick2tack]

こんなものあったのか。ついにプログラム領域も取って代わられる可能性が出てきたか。/　適切な方向けやすごい力技、ってかんじなのかな？将棋のボナンザがでたときみたいな

[karkwind]

マジか…

[yhara]

“GPT-3を使ってアプリを作成する場合，プログラマーはGPT-3と対話し，GPT-3がタスクを「理解」するまで自然言語でプロンプトを調整します．”

[mkusunok]

うわー、だいぶヤバいことが起こってるのね。FP16でも16GBのGPUボード22枚って、こりゃ謎の半導体会社がどんどん儲かる訳だ

[star_123]

映画検索に「楽しい気持ちになるアニメ」って入れたらまどマギが候補に挙がってて笑った。

[LM-7]

「子は親の鏡」というが「AIはデータセットの鏡」なワケで、どのようにして要求仕様に応じたデータセットを揃えるかが鍵になる。ユーザが制御可能なのは入力のみで内部はブラックボックス。人間も一緒。

[h-yano]

すごいんごねぇ…

[TACOMIC]

＃蛸十　＃蛸OL　＃蛸GY　＃蛸世界儀

[tfurukaw]

「初心者向けPythonプログラミング」って検索したら、何やらBLっぽい表紙がトップに表示されたのでまだまだだと思う（＾＾；・・・のはさておき、いやー、すごいわ。

[gayou]

API使ってみたいな。

[tsuyok]

GPT-3を使ってアプリを作成する場合，プログラマーはGPT-3と対話し，GPT-3がタスクを「理解」するまで自然言語でプロンプトを調整します．この作業は高度に抽象化されたメタ学習であり，プロンプト・プログラミングです

[phain]

すごさがいまいちわからない。／2023.01.11 自然言語での入力ができるようになってきた、ということだったと今さら追いつく。

[kkobayashi]

ほえー

[itochan]

ながい

[a-know]

むむむ / “「GPT-3が生成したテキストをネットに投稿することで，GPTの将来のバージョンのための訓練データを汚染している」と指摘しているのが斜め上を向いてて個人的に好きです．”

[airj12]

どういう事になってるのか本格的にわからない世界になってきた

[speeedstance11]

ん

[hanamichi36]

GPT-3

[citro]

これはすごい

[aox]

なんか怖いです

[EternalBlueBullet]

プロンプト・プログラミングによる学習、がイメージ難しいけれど、文章生成でパラダイムが起きてそうなわくわく感を感じる。

[tetsuya_m]

すんごい。並の卒論くらいなら易々と生成してくるそうだ…コピペで課題提出とかいうレベルじゃない何かが起きそう(そんな矮小な話どうでもいいけど)

[securecat]

なるほどすごいけど、これが進めば人間様は知的労働から解放されるのかな？　肉体労働は必要だろうから、筋肉が勝つシナリオなのか？

[qpci32siekqd]

学習コストが高すぎるのだけが問題か。ムーアの法則超えてるんだがどうするんだ。スーパークラスタで学習したらしいが。

[ebo-c]

AIに指示するのが人間の仕事になったりして。と、思ったが当面は電気代が人件費以上でAIが建てたコンセプトを実装するのが人間の仕事になったりして

[kagehiens]

どうやったらそんな膨大な量を適切に学習に使用できる状態に出来たのだろう。

[mn_kun]

ゴイゴイスー

[BlueSkyDetector]

"質疑応答や翻訳のデータセットで学習したわけでなく，Web上の大量の未分類の文章で「次に来る文章」の予測を事前学習した結果，質疑応答や翻訳といった個別のタスクを遂行するほどに" これすごい