LLMは「次の単語を当てる」だけなのに、なぜ思考しているように見えるのか？｜中島聡

これは私のメルマガ「週刊Life is beautiful」で紹介している記事の要約・解説です。要約をこちらに書き、リンクを貼った上で私のコメントを書くというスタイルで、メルマガ本体のボリュームを減らして読みやすくすることを目的としています。 LLMs do one thing: predict the next word. Here's how that creates something that feels like thinking LLM（大規模言語モデル。大量の文章を学習して人間のような文章を生成するAI）が実は「次に来る単語を予測する」ことしかしていないのに、なぜ思考しているように見えるのかを、専門知識のない人にも分かるように順を追って説明した解説です。AIの仕組みを人に説明する機会のある方には、そのまま使える説明の型になっています。 ChatGPTやClaude、Gemin

[takuyayagi27]

どちらかというと、人間が広義では「次の単語を当てる」をやってるだけだということが分かってきた、の間違いでは？

[igni3]

問いはなぜ思考してるように見えるのか、なのにLLMの仕組みだけ説明して肝心なところは構造を読み取ってるのではないかと濁して終わる雑記事。わかってないことを説明できるふりするのよくない

[t-tanaka]

「これだけです」そんな時代はとうに通り過ぎた。このLLMを何重にも積み重ねたり分岐させたり統合したりを繰り返して，今のAIは返答を生成している（Chain of ThoughtとかMulti-Agentとか）。そこで一種の創発が起こっている。

[kootaro]

多分人間も穴埋めゲームしてるんだって思うようになった。／でも圧倒的に消費電力が小さいから優れているのは人間だと。

[shikiarai]

反射的に話し続ける配信者のトークを見て、あーこれLLMだな……ってなったことはある。人間の優位な点は話してる途中で自分自身の発言や周りの反応をインプットしてインターラプトかけられることかなと勝手に思う

[ku__ra__ge]

「仕組みは分からんが、とにかくこうやったらうまく動く」というのは割と世の中にいっぱいあるもんなあ。

[SilverHead247]

脳科学者が山で迷子になっている内に、裏から頂上に近づきつつある趣がある。

[north_korea]

いつから人間が思考していると思った…？LLMも人間の脳もほとんど同じ事をやっている

[mermaidtan]

人間の思考や精神というものが霊的な神秘性の内にあるみたいな素朴な人間中心主義がそろそろ否定されると思ってる。

[fluoride]

脳もニューロンが発火するだけなのに思考してるように見えるもんな / 10^10オーダーの現象が意味不明なの、逆にヒトが後生大事にしてる「説明」「理解」なんて実は鼻クソレベルなのではという足場のぐらつき感じる

[isrc]

人間のフィードバックによる強化学習（RLHF）／モデルが単に丸暗記しているのではなく、構造を見つけている／理解のようなものなのか、理解に似ているだけの何かなのか——はまだ答えの出ていない問い

[the48]

これAIなの？

[aiueokabe]

シンプルな原理を大規模化すると高度な能力が現れることをLLMが示したのは事実だがそれが知性なのかあるいはよく似た何かなのかはまだわからない。知性の定義も難しい。ただ人間も同じと言い切るのも危ういと思ってる

[eagleyama]

理解のようなものだと思う人がいるとは驚き

[Potara]

"仕事は一つ。次の単語を当てること。それを数千億のパラメータと何兆もの例でやらせると、思考のように見える何かが反対側から出てくる。なぜそうなるのかを、完全に分かっている人はまだ誰もいません"

[quwachy]

この程度の内容がこんなにバスってしまう日本が心配、これじゃ数学の未解決問題は解けるようにならない

[knok]

自分はこれまでencoder-decoder構造でできてたことが自己回帰モデルでもできるようになったという解釈

[lvseven]

この人の他の記事もそうなんだけど、引用提示してればAIによる完全翻訳版を載せて有料メルマガに誘導してもOKなんだっけ？/通報済

[valinst]

そもそも人間がしている思考とは何か、が完全に解明されていないなら、この疑問は無駄ではないだろうか

[bopperjp]

“言語そのものの中に、世界についての膨大な構造が含まれているからだ、というのが記事の答えです。” / これほど因果関係がよくわかってない代物に大量のお金が投下されるってのは凄いもんだ。

[kknsd]

「太陽の簒奪者」の尻Pは先見の明があったよななど（うろ覚え

[harumomo2006]

人間はニューロンの最短経路を学習してコスパを上げてるのでLLMももっと軽量化されていくはず

[eirun]

1986のELIZAのころからずっとそうだったでしょ。むしろこれは人間側の共感力というか思い入れ力がずば抜けている証拠だと思うよ。そして日本人はその中でも頭一つぬけてる印象。

[rck10]

思考している文章を学習している、かつ一般人は日常生活でそこまで独創的な出力を必要としないから。仮に落語だけを学習させたLLMがあったら、それは落語の役にしか立たないでしょ。

[Unite]

人間は常に刺激を受けて何かしら動き続けている、膨大な数のセンサー付きマルチモーダルモデル。脳だけ取り出してもどうしようもないし、脳の活動自体は効率良いが生体機能とセンサー維持コストは結構高い。

[udongerge]

みんな言ってるけれど、人間が思考する時にそれ（次の単語を当てる）をやってないという証明はまだないのだよな。

[behuckleberry02]

創発に見える何か。LLMの創発性は幻影とする記事もあるが。何が起きてるんだろね。 https://wired.jp/article/how-quickly-do-large-language-models-learn-unexpected-skills/

[boel]

やっぱ人間もAIと同じような推論してるだけでは？って思ってる人はいるよね。自分も人間のもつコンテキストが膨大なだけでAIも人間と同じレベルでコンテキスト保持できたら…と妄想が捗る

[ht10000]

バカが知ったかぶって記事を書くとこういうことになる

[toro-chan]

エキスパートシステムのように、人間の知恵を機械化すれば知性的になると思われていた。が、それは全く関係なく、統計的に人との誤差を少なくすると知性的に見えるのだから不思議ではある。

[zkq]

これに興味がある人は「ダンゴムシに心はあるのか」を読むと面白いと思う。単なる反射がどう心へ進化していくのか。

[cropy]

創発って面白いよね

[katano33jp]

AIの仕組みについては何度もAIに聞いてるけど全然ピンとこない

[LM-7]

ニューロンの発火は結局イオンチャネルの開閉と電位差という物理化学反応で、シナプスの重み更新もヘブ則的な局所ルールに従うだけ。人間の思考も単なる電気化学反応の出力に過ぎない。

[mitz_008]

言語だけではない。おれが思考していると思い込ませている誰かが脳内にいる

[Yagokoro]

この話でChain of Thoughtに触れないの意味不明過ぎる

[tanakatowel]

もっと言うとどんな学問だって言語のメカニズムに落とし込んで人間が理解出来るようにしているに過ぎない　プログラミング言語とはよく言ったものだね

[lainof]

人間も同じって言ってる人って言語でリニアにしか思考できない人？

[daishi_n]

脳の消費カロリーは身体全体の25%程度と言われているけどフルに思考力を使っても消費カロリーが大幅に増えるようなことはないらしい。ボディとセットで80kcal/時 → 100 Whと考えると効率は良いよねぇ

[kojikoji75]

「次の単語を予測しているだけ」と聞くと単純に思えるけど、その予測精度を極限まで高める過程で、言語や概念の構造まで内部に獲得してしまうのがLLMの不思議なところ。