ChatGPTが多くの会話を記憶すればするほど無能になる問題は、何が原因なんだろう… 履歴を見返すと、ほとんどの会話は全然解決しなかったり、ダメな案がそのまま放置してある

中嶋 謙互 @ringo ChatGPTが多くの会話を記憶すればするほど無能になる問題は、何が原因なんだろ。 履歴を見返すと、ほとんどの会話は、全然解決しなかったり、ダメな案がそのまま放置してあるので、うまくいかなかった事がほとんどだと言える。 その履歴を、うまくいった会話だと仮定して記憶してるのかなぁ 2025-05-05 08:53:58

[boxshiitake]

今のLLMはコンテキストが大きくなるほど精度が落ちることがベンチマークで確認されているので

[ledsun]

「LLMは否定語が苦手」という話を聞いたことがあります。人間の幼児と同じで「○○しないで」と指示されると、むしろやってしまう。コンテキストが短いうちはまだしも、長くなると否定部分が消えてしまう、とか？

[suikyojin]

「醜いアヒルの子定理」により、純粋に客観的に判断すると、全てが同じだけ似ている事が証明されている。適切な重み付けが無いと、多いデータはむしろ有害、曖昧になるだけ。

[vlxst1224]

性能が上がる＝天然知能に近づくということなら皮肉ながら残当ではある。無機質なマンマシンインターフェースが人間臭さを見せてくる展開はエモの定番だが計算機がジョークを繰り出してきたならそれはハードオフだよ

[chintaro3]

ChatGPTも睡眠を取って、捨てるデータと残すデータを取捨選択する工程が必要なんだろう

[lainof]

そもそも会話が終わった時やうまく行かなくて質問の仕方を変えたい時は新しいチャットに切り替えるから長く会話を続けること自体無い。途中で上限に達して会話が続けられなくなったら嫌だし。

[hatest]

会話のごみ箱が必要だな

[misshiki]

“ChatGPTが多くの会話を記憶すればするほど無能になる問題”

[chokugekif]

AIは誰もが知っている理論(例えば特殊相対性理論)とかの質問の場で、連続性にはまったく期待していない

[somaria3]

ちょっとググれば無限の情報が出てくるのになぜ井戸端会議で納得したふりをするのか/SNS一強のインターネッツの時代が終わって本当に良かった、巻き込まれて馬鹿になるところだった

[John_Kawanishi]

かつてFEPと呼ばれてた頃のかな漢字変換みたくなってきたなぁ

[mikage014]

AIにも記憶を整理するための睡眠が必要なのかも

[c_shiika]

そこまでまだ使ってないから分からないな

[otihateten3510]

なにそれ、俺の方で再現していないからどういう状態なのか気になる。同じスレッドでやってるってこと？？

[w_bonbon]

話変わるんだけどこういう時　みたいに途中で新しいこと聞いても話変えてくれない。新しいチャット立てるのめんどくちゃい

[hiroomi]

“履歴を見返すと、ほとんどの会話は、全然解決しなかったり、ダメな案がそのまま放置してあるので”都度クロージングしろってことなんでしょうかね。

[hardt]

同じトピックでも途中で整理して会話リセットしたほうがスムーズに問題解決につながる実感はある

[kobak]

最近使っていて思うのは、LLMが出力した内容とユーザーが入力したことの区別が曖昧になる現象が悪化していく気がする

[tenari]

ChatGPTには回答に対するup/down vote機能があるけど影響したりしてるのかな いずれにせよ記憶するなら回答へのフィードバックは重要でそのうちカメラで表情読み取ったりするようになるんだろう

[anigoka]

アルトマンは小手先のカスタムでバージョンナンバーを誤魔化してるだけで根本的改善を施してないのでユーザー満足度を下げることしか出来ない無能　あのお家騒動で辞めさせられなかったのが運の尽き

[mutinomuti]

メンヘラクレーマーだけと話しててまともでいられる存在なんていないだろ(´･_･`)

[kirine]

自分もこれ悩んでて、簡単な質問ならともかく踏み込んだ会話をするとすぐコンテキストがふにゃふにゃになる。プロンプトを取捨選択したり別途コンテキストを管理するのが面倒なので良いやり方があれば知りたい。