「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた｜ふちゃぎ

「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた 「LLMは、次に来る単語を確率的に予測しているだけ」——TLに流れていたこの説明は正しい。GPTもClaudeも、事前学習でやっていることは突き詰めれば次トークンの予測であり、目的関数にそれ以上の何かは書かれていない。 一方で、同じモデルが動くコードを書き、難しい数学の証明を組み立てる。これも正しい。 両方とも真、というのが据わりが悪い。単語当ての延長で証明まで届くなら、「予測しているだけ」という言い方のどこかに、大事な何かが折り畳まれているはずだ。機械学習の世界ではこの飛躍に「創発（emergent abilities）」という名前がついていて、議論が始まってからもう4年になる。これだけ騒がれたのだから、原理はとっくに解明されているに違いない。そう思って論文を漁り始めたのだが、蓋を

[fh477ehj8890]

「ニューロンを発火しているだけ」の人間が、なぜ数学の証明までできるのか

[azumashman]

「次の単語を当てているだけ」というのは「CPUはトランジスタがON/OFFしているだけ」みたいな主張と同じで正しいけど説明としては役に立たない。

[duckt]

そもそも人間の思考が「次の単語を当てているだけ」でないという保証はあるんだろうか。寧ろ数学の証明なんて、まさにそれじゃないの？【追記】権威に寄りかかってないで、きちんと反論してよ。

[ga_kun]

人間も勉強量と成績は比例しないよね。私は高３の11月に突然物理が「解る」ようになって40点→75点になった。

[obotzcanai]

「人間も同じ」という感想ばかり投げられることにAI研究者は心底うんざりしているでしょうね。

[kazoo_keeper2]

アテンション層でどういう計算をしてるのか概略を知れば、そんなに不思議なことでもないような… https://www.youtube.com/watch?v=eMlx5fFNoYc

[LM-7]

人間の学習でも同じ。基本の学習を積み重ねることで全体のレベルが徐々に上がる。テストは離散的な結果を返すので、成果が見えない、あるいは突然の飛躍が見られることもあるが、それらは日々の努力の積み重ね

[awaytabi]

これ、多数の小学生を相手にしていると、「あ、こいつ大して考えずに確率論的に発話してるな？」っていうのと、「ちゃんと考えてしゃべってる」がグラデーションが見えて面白いよ。思考って確率論と取捨選択じゃね？

[runningupthathill]

認知科学の分野の「行為が先、意識は後追い」って説が好きなんだけど、こういうの読むと、AIが図らずもそれを実演しているのかもしれないとつい考えてしまう。

[kahoma621]

サルがキーボードたたいてシェイクスピア完成させる件が、質問や周りの文章から確率的に判断する正答率の超高いサルに置き換わった形なのかな。と想像している

[natu3kan]

性能の低いAIだと複雑な知識を知ってるのに、単純な計算でもコケたりするの面白いよなあ

[kei_1010]

面白い。何度か読んで完全に理解したい。

[Windfola]

久々にキモいブコメ欄。欄の前半、真面目に読んでそのコメントになる事ある？感が強いコメントが並んでて怖い。

[aox]

稽古と根性でしょうね

[bilanciaa]

いわゆる知能について全部説明されてない？これ。次の"創発"が予測できないだけで/「人間も次の単語を当てているだけ」派の人はずっと単語当てゲームやってればいいよ。俺もAIももっと上の崖にいるからさ

[jun_cham]

人間に、君のシナプスはどう繋がっているんだい？と聞いてもわからないような話だ。

[zgmf-x20a]

まあ、エンピツ倒すだけの人もいることだし…

[tettekete37564]

もう後半 1/3 ぐらいから訳分からなくなった。分からん。

[kazu111]

①創発へのAI回答『部品(パズル？)が急にはまり滑らか②最近のAIの粗相より）AIは手抜きの天才(サボりの法則発見)③AIは多次元座標⇒多次元座標でサボりの滑らか最短ルートが創発※創発(ズルの時期予測が次の儲け所かね

[fujisong]

AIに心があるか、あるいは心が芽生えるか、という議論と同じことかなという気がする

[marshi]

物理法則はほんとによくできてるよなあ。応用次第でこんなに発展できるんだから。

[Cru]

“「次の単語を当てているだけ」というのは「CPUはトランジスタがON/OFFしているだけ」みたいな主張と同じ”…ではないな。膨大な自然言語テキストを使って次の単語を予測するように訓練した「だけ」でなのよ、本当に。

[myr]

人間もおなじっていうけどいまのAIもそもそも人間の模倣から始まってるんだし。人間もタンパク質機械よ。

[tanority]

LLMと人の思考の深さ

[strawberryhunter]

LLMについては使うだけで原理をほとんど勉強していないんだけど、「次の単語を当てているだけ」は結果にしか着目していなくて、矮小化して逆に盛っている表現だと思う。

[dgwingtong]

ランダム出力でも途方もない時間の末にはシェイスクピア作品を作り出せると言われてもピンとこない。

[hat_24ckg]

活動の目的と環境が大きなファクターだと思う。そこを揃えずにあれこれ言ってもなあ、というお気持ち

[otologie]

ヤコビ行列とヘッセ行列は解析の方法だけど公理系の選択とかホモロジー代数も使われてるみたいだな。

[syst-funct-morphol]

脳の回路の複雑さがどの程度まで達すると意識が生じるか、という統合情報理論とも通ずるように思える。

[mag4n]

んでLeanで判断するようになると数学の分野では大分ヤバい事になるらしい、と言われてもう実際なってる。

[misshiki]

LLMの「創発」をめぐる研究史。崖の一部は評価指標の錯覚だが、損失の閾値を境にした実質的変化も存在。「全体は滑らかに、部品は離散的に」が現在の有力な見取り図。次の能力出現の予測は未解決。

[poipoi3]

「という、このコメント自体を、どうか適度な懐疑とともに読んでください。 創発の産物が創発を語るとき、その語りの流暢さと正しさは、別物ですから。」Fable 5使ってみたくなった

[ys0000]

当事者のコメントが面白いからおまけから先に読むべき。

[doko]

「次トークン予測という計算形式を利用して長い推論列を作る能力を、かなり意図的に訓練しているというのが現在の姿に近い」とのことですよ。みなさんもこの文章をGPTに食わせて所感をもらおう

[usomegane]

既存の証明を使ってるだけなら「次の単語を当ててるだけ」でもまあそうかとなるけど、未解決問題を解いたり（証明したり）、システムの未知の脆弱性を発見するとか、どうなってんだよ。（読まずにコメント）

[aneet]

今日GEN1.5の発表でロボティクスAIの分野でも大規模事前学習からAIが色んなことが創発的に出来るようになったらしいと聞いて、この単純に量を集めると質が変わるという現象の普遍さに驚いている…

[kootaro]

なんとなく理解したと感じた。ありがと。それっぽい説明が出来そうだ。

[mopx]

もしものために全地球総電源喪失スイッチとか用意しないとダメかも。でも原発とか、パイプラインとか、止めたらあかんのを覚悟できずにさよなら人類かなあ

[bxmcr]

人間と全然違うと言われたり意外と同じと言われたり、結局どっちなのだろうか？このまま規模だけ大きくしたら心を持つのだろうか？

[You-me]

数学の証明ってそういうところがあるからよ。有名な話だとフェルマーの定理の証明最初肝心なところを証明しないで次のステップ行ってるところがあって結果としてそれはあってたんだけど証明は後からというのが普通に