AIは「賢いフリ」をしていた──ハーバード大などが暴いたLLMの決定的弱点「ポチョムキン理解」とは？ | XenoSpectrum

大規模言語モデル（LLM）は、流暢な会話をこなし、専門的な質問にも答える。その驚くべき能力に、私たちは「AIは本当に理解しているのではないか」という期待を抱きがちだ。しかし、その知性は本物なのだろうか？ こうした我々の抱く最もな疑問に対し、2025年6月26日に発表された一つの研究論文が1つの答えを与えてくれるかもしれない。 ハーバード大学、MIT、シカゴ大学の世界トップクラスの研究者たちが共同で発表した論文は、LLMが概念を「理解しているフリ」をするという、根源的な欠陥を白日の下に晒した。本稿では、この「ポチョムキン理解」と名付けられた現象の核心に迫り、それが私たちのAIに対する見方、そして人工知能の未来に何を意味するのかを解説する。 賢いフリをするAI──「ポチョムキン理解」という新たな弱点 今回発表された論文「Potemkin Understanding in Large Langu

[itochan]

にんげんだって、4択テストは高得点でも、自由記述式テストにしたとたんに理解のなさが露見したりする

[lapdoglab]

これ、統計学や確率論を勉強してた人は元々分かってた話。でもね、本質を理解してないのはAIだけじゃなくて、人間にだって沢山いる訳だから特に問題はないでしょ。

[fujimakitk]

LLMに「理解」を求められても……という気はする。結局は使う側の能力次第なのは変わらない

[yonao205]

人間も間違えるから一緒、ではなく正しく理解できる人間はいるが、AIでは無理（いない）と言う話だよね。まぁ使ってると分かるね。何度指摘してもダメな事多い。

[achtacht88]

回文として成立する漢詩作ってと依頼すると同じようなことになったわ。 概念は理解してるはずなのに、出力の問題点を指摘しても修正ができなくて無限に間違いを繰り返してダメだなこれはとなった覚えがある。

[rck10]

学者・技術者的にはそこが重要かもしれんが、ビジネスユース的にはどうでもよくて、賢くない凡人労働者はその「賢いフリしてるAI」以下なので、凡人を駆逐できてしまうってことが問題なんでしょう。

[iinalabkojocho]

質問には答えられるがその質問を使った応用を求めるとメチャクチャになるの利用者はみんな体験してると思う。今の所「こう言うもの」として扱うしかないか。形式知で完全ゲームなら出来るか？ぐらい。疑いつつ

[summoned]

こういう話に対して必ず「それもまた人間っぽい」という反応があるが、凄まじい誤謬じゃない？　表面的に人間っぽいだけで本質的に推論過程が全く異なり、そしてまさにそれこそ本稿の指摘する問題なのだから

[srng]

そういう振る舞いする人も多数な事を考えると、それもまた人っぽい

[TakamoriTarou]

はい。なのでLLMの延長線上にシンギュラリティは来ないという話ですね

[daysleeeper]

前から感じてるのだけどAIのこういう一貫性のなさって人間の統合失調症に似てない？誰か関係性を考察してる人いないかな？「やっぱりLLMと人間は違う」ってより、むしろ人間に似てる気がするのだけど。

[rainbowviolin]

チューリングテスト以来、AIは「人間を真似、人間のフリをする」能力でベンチマークされてきたのだから、そのテストをハックする性能に長けるのは当然だよね。使った感じシンギュラリティやAGIはまだ遠いような。

[zyzy]

そもそも現段階のAI別に「真の知性」は目指してないような。明らかに何らかの別のブレイクスルーないと、マルコフ連鎖の高級版以上のものにはならん事は分かり切ってる話かと。

[ookitasaburou]

“「ポチョムキン村」が中身のない見せかけの象徴であるように、「ポチョムキン理解」とは、LLMがベンチマークテストなどでは概念を正しく説明できるにもかかわらず、その知識を実際の応用場面で一貫して使えない、い

[misshiki]

“「ポチョムキン理解（Potemkin Understanding）」の名は、18世紀のロシアで軍人グリゴリー・ポチョムキンが、女帝エカチェリーナ2世の視察のために、実態のない張りぼての美しい村を作って見せたという逸話に由来”

[yoseic]

“ポチョムキン理解”　ポチョムキン村＝見せかけだけのものに対する比喩。史実では無いのに悪行っぽくされて可哀そう。

[hate_flag]

頭の悪い中学生が速さｘ時間＝距離の公式を知らずに適当に公式に数字を当てはめた回答を当たるまで繰り返すのにちょっと似てるね

[Rikerike]

LLMはあくまで知性のパーツの一つであって、それ単体だけで人の知性足り得ないってことかな？　人間らしいけど人間そのものではないのか、それとも……

[takahiro_kihara]

AIなんて元々そんなもんでしょ？

[shidho]

正直、AIに絵を描いてもらう時に指示しても左右の区別を判ってくれなくて困っている。驚き屋の人たちそこが気になるレベルで試してないのよね。

[NOV1975]

人間がいろんなことを間違いすぎる結果、確率的には人間より間違わないということが過大評価されているというのはまあ。目指しているものはなにか次第ではあるよね。

[doopylily55]

例題、Ｇeminiは正しく埋めてたけど（about） これもフリなのかねえ

[quick_past]

AIは何も考えられない。ってのは確かにだけど、知ってることと理解することは違うわけで、このケースに当てはまる人や行動って結構あるよ。学校で学んで成績優秀だった人でも、生活では忘れてしまったりね。

[elm200]

どうかなあ。私はLLMはまだまだいけると思うが。学者は「LLMじゃAGIにたどり着けない」と言いたい人種なんだろうと思う。私は結局、物理的に計算量を増やせばたいていの問題が解決してしまう予感がしている。

[btron]

そもそもの作りを辿れば統計的に出さなくてもそう言うものだと分かるんじゃないかと言う気もするけど違うのか？

[kamiaki]

“AIは意味を理解せず、統計的なパターンを模倣しているだけだ」という「確率的オウム（Stochastic Parrots）」論に、強力な科学的根拠を与えるものと言えるだろう”

[osugi3y]

これは一種の大いなる発見だな。

[hryord]

擬態してるだけで知性はないって事でしょ。攻殻機動隊に出てきたゴーストがないアンドロイドかな。芸者ロボとかオペ子とか。

[kaerudayo]

面白い。

[fossilcat]

なんかこんなことあるなぁと思っていたことが明確になった、というかんじ。

[korinzuz]

大量のデータを集めて学習させて、適当に確率的にそれっぽい回答を生成すれば8-9割の人間より正確な回答返してくるってすごいよな。インターネットの発明にも増して、一般的な知識をより普遍的なものにしたと感じる

[sawat]

現在の生成AIの先にAGIはないと思う。AGIへの探究と生成AIの改善・活用は分けて考えるべき

[shields-pikes]

人間と同じでしょ。／例えに出されてる文章の問題が、明らかにLLMが超絶苦手なタイプの設問すぎて、実験の設計自体が結論ありきで偏ってる可能性を感じざるを得ない。

[morinaga3]

AI

[aya_momo]

今日戦艦ポチョムキンの話を聞いたばかりなのでそっちの話かと思ったら、一夜城みたいな話だった。

[cielonlon]

なるほど〜。使って実際に感じていた性能の限界について言語化された印象。“この「説明」「実践」「自己評価」の間に存在する深刻な断絶こそが、「ポチョムキン理解」の核心である。”

[nornsaffectio]

だから西垣先生が前から言ってるじゃん。

[BT_BOMBER]

「AIは意味を理解せず、統計的なパターンを模倣しているだけだ」これ昔大学でAI触ってたって人がコメントしてたな。その人は「学習量は劇的に増えたけど昔と変わらず統計見てるだけで本当に発展か？」て見解だった

[k3akinori]

俺AIの動作原理の定性的説明からAIはここで言う「確率的オウム」って理解をしてたんだけど、それ「一部の専門家」しか指摘してなかったの？他の専門家は何だと思ってたん？

[footwork_x]

山月映松風泉清 影幽花香鳥聲遠 遠聲鳥香花幽影 清泉風松映月山