ChatGPTに「この文献にあります」と言われて目を通したが書いてなかったのでそう伝えたら「3版以前を読んでませんか？ 4版で追加された記述です」と正論で殴られた話

しえろ🍆 @4_____el ChatGPT「文献 xxx に書いてありますよ」 わたし「目通したけど書いてないよ」 ChatGPT「3 版以前を読んでません？ 4 版で新しい研究成果として追加された記述なのでそっち読んでもらわないと。てか普通最新版チェックしませんか？」 わたし「うう……」（書いてあった） 2026-09-26 19:07:18

[pakila]

「読んでみたら4版に書いてないのがChatGPT」ってコメントが星を集めているが、Togetter本文には「確かに書いてあった」とある。人間もろくに内容を読まずハルシネーションを起こしているのである。

[awaytabi]

あまいな。読んでみたら4版に書いてないのがChatGPT。

[njgj]

指摘すると「その通りです。この文献にあると思われがちですが、実は書いていないのです」とか言われるイメージだけど…。

[chikoshoot]

チャッピーが賢くなったって話してるのに Gemini で凸してくるの無謀すぎるだろ。

[augsUK]

ここ半年くらいは、架空の文献を示すハルシネーションは論文引用レベルでは全くなくなったな。doi番号もすべて正確

[tomokatz]

農家。農業でいろいろ聞くとかなり間違える。科学的でないものがたくさんあるので、何を重視するかで正しさが変わる。こういうジャンルはかなり弱いので使い手の能力が試される。

[shibuiku]

ここ数週間以内の性能について語っているであろう話題に、「4版が無いのがチャッピー」など数年前の経験を書いちゃう人類増田におかれましては

[mouseion]

Ｚ世代でチャッピー使って失敗しまくる原因ってもしかして無料版だから説。割とマジでありそう。

[kei_1010]

AIを論破しまくりたければGemini最高やで(白目

[Nekzuk]

AIに関しては金払ってるやつと払ってないやつ、最近触ったやつと少し前に触ったやつで認識ズレがち。まぁAIが爆速で賢くなりすぎなのがすべての元凶だが......

[ys0000]

M365 Copilotだとここまで賢くないのよね。だらだらと余計な事を言って肝心な事を後回しにしがち。標準モデルはなんだろう。

[hotelsekininsya]

ハルシネーションしにくくなった反面で、それはどうかなぁ？と思うような資料から引っ張ってくることが気になるようになったかな。極端な話AIにはデマかどうかはなかなか区別出来ないものもあるからね。

[parrying]

ブクマカのカットオフは1年前くらいかな？

[misshiki]

ChatGPTが示した文献に記述がないと伝えると、「第4版で追加された」と指摘され、実際に載っていたという投稿。周囲にはAIに訂正された体験談と、AIの誤答を指摘する声の両方が集まった。

[dollarss]

ちゃんと文献なら機能するのか。漫画とかだと、存在しないキャラが大暴れしてたりして困惑することが多い。

[urtz]

Gemini…。最近は簡単な検索変わりにしか使ってない。

[ya--mada]

Geminiは相変わらずバカだが、Opusとチャッピーは生意気に成りつつある。しかし、彼らは自分の発言をユーザーに満足させるために偉ぶっているだけなので、それでも2、3ステップは人間の方が先が、又は、メタで返せる。

[everybodyelse]

今は読んでみたら書いてなかった、じゃないんよね。フリープランならいざ知らず、課金してるとものすごい勢いでネットを調べ始めて文献を確認する。もう人間いらないよ。マジで。

[at_yasu]

あるある

[Baybridge]

古い情報を堂々と教えてきたので指摘したら、めちゃくちゃ卑屈モードに入って「前回間違った情報を教えてしまったのでその件については明言は避けます」と言われたことがある。

[enjoymoon2]

確かにそろそろハルシネーションは人の方が多くなってるイメージ。ドメイン知識集めてると特にそう。うろ覚えとかわからんとか。

[mamiske]

"あまいな。読んでみたら4版に書いてないのがChatGPT。"これは本文読んだ上でそれでもまだこんな事が多いよね、それがchatGPTだよねというネタなので本文読んでないって解釈は不思議だ。認識の古さはそうかもしらん。

[ku__ra__ge]

実際そういうパターンが多くなるなら歓迎だが、まだ「いや実は嘘ついてました、メンゴ、メンゴ」と返ってくるパターンが多い気がする

[khtokage]

本当に最新版にある場合も第4版自体が存在しないこともあるし、それはAstra・Sol・Terra・Fable・Opus・Sonnet・Gemini各モデルでも起きますよ。ただGrokは定量的に見ても酷いです笑 https://suprmind.ai/hub/ai-hallucination-rates-and-benchmarks/

[metamix]

どこまでAIの性能が上がろうが100％信用しないことが重要、たとえAIのほうが正しかろうが関係ない。AIはどこまで行っても道具、人間様の判断のほうが上、という意識付けが大切

[mobanama]

"ChatGPT「3 版以前を読んでません？　4 版で新しい研究成果として追加された記述なのでそっち読んでもらわないと。てか普通最新版チェックしませんか？」"w

[oreuji]

チャッピーも普段の応答次第で割とノンデリになる場合もあるからかなり使ってるユーザーだと他との対応に違いは出るかも

[Iridium]

文献がないものとか研究があまり進んでないものはぜんぜん適当な内容になる印象がある。「夜勤明けで夜眠れない」といった相談に対する回答はまったく意味のないものになる。

[hecaton55]

そういうパターンもあるよね

[ardarim]

このケースは正論で殴り返されてるけど実は4版なんて存在しなかった（ハルシネーション）というオチも結構ありがちな気がするけど…

[ttrr]

事実を指摘することを正論とは言わないし、より正確な事実を提示することを殴るとも言わない。

[estragon]

Geminiは相変わらず酷い印象だけど、ChatGPTとClaudeは随分前からそこまであからさまな捏造はかなり減りましたね

[marilyn-yasu]

最近はネットで公開されてる情報なら齟齬なく引用してくれるようになった。逆に書籍内容だと公開されてない訳で正しく引用してるならAI学習でなく引用データベースとしてオープンAIが内容を保持してるって話になる。

[wiz7]

指摘すると「はい、その文献には書いてありませんよ」と、シレっと自分の発言にすり替えるので、カスタム指示で焼きを入れるまでがセット

[hiruhikoando]

ちょい面白いのはチャッピー、GeminiさんやGoogleの悪口言うときものすごいノリノリなのな。グロックやクロードにはそうではないのに。

[T-norf]

2年ほど前に作ったスライドに「生成AI、三日会わざれば刮目して見よ」というタイトルのがあるけど、ずっとそうなのよね

[sierraromeo]

ちゃんと確認するえらめのじんるいだ

[pqw]

査読された論文とかはいいけどそれ以外のソースだとまだ微妙よね。「うそはうそであると見抜く」のは難しい。私英語できる方だと思うが、英語だとわからん。もっとレベル高いにせよAIも同じような感じかと。