「次の単語を当てているだけ」のAIはなぜ数学の証明までできる？LLMの創発研究を調べてみた記事そのものがよくできたSFみたい

「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた 「LLMは、次に来る単語を確率的に予測しているだけ」——TLに流れていたこの説明は正しい。GPTもClaudeも、事前学習でやっていることは突き詰めれば次トークンの予測であり、目的関数にそれ以上の何… Ryousuke_Wayama@wayama_ryousuke Ryousuke_Wayama @wayama_ryousuke TLで「LLMは次の単語を当ててるだけなのに、なぜ思考してるように見えるのか?」というポストを見かけて、そういえば創発現象の研究って今どこまで進んでるんだっけと気になり、論文を漁ってみた ・2022年:「ある規模を超えると能力が突然出現する」(Wei et al.) ・2023年:「それ、採点方法の産物では」蜃気楼説がNeurIPS最優秀論文に ・2024年

[misshiki]

LLM創発研究を追った記事への反応まとめ。「突然能力が出る」説から、現在は「平均は滑らか、部品は離散」という理解へ。SFのようだ、人間の思考や意識まで考えさせられるとの声も。

[karatte]

オチが最高 "——という、このコメント自体を、どうか適度な懐疑とともに読んでください。 創発の産物が創発を語るとき、その語りの流暢さと正しさは、別物ですから"

[NAPORIN]

“・2022年:「ある規模を超えると能力が突然出現する」(Wei et al.) ・2023年:「それ、採点方法の産物では」蜃気楼説 ・2024年:「損失の軸で見ると崖は残ってる」と反駁 ・現在:「平均は滑らか、部品は離散」という統合像”