chatGPTが大幅性能低下！「数学正解率が98％から2％」検証論文を詳しく解説 - ナゾロジー

高度なAIはパッチを当てるのも難しいようです。 米国のスタンフォード大学で行われた研究によって、chatGPTのいくつかの性能がここ数カ月の間に大幅に低下している可能性が示されました。 また性能低下にともない、同じ質問に対して3月と6月の間で大幅に異なる結果が出力されていることも明らかになりました。 ビジネスや学問の場での活用が進みつつあるGPTに、いったい何が起きたのでしょうか？ 今回はchatGPTの性能が低下しているとするスタンフォード大学の実験結果に加えて、性能低下は起きていないと主張するプリンストン大学の研究者たちの見解も同時に紹介しようと思います。 研究内容の詳細は2023年7月18日にプレプリントサーバーである『arXiv』にて公開されました。 Is ChatGPT’s Behavior Changing over Time? Researchers Evaluate the

[nagaichi]

AIも結局トライアンドエラーで、直線的進歩などないということか。進歩したかどうか判定するのも人間である以上、シンギュラリティの鳥羽口に立ったとはまだ言えないだろう。

[ryouchi]

これはGPT4が「鬱状態」に入ったと見られるのでは？

[mozukuyummy]

半年前のChatGPT「素数を完全に理解した！」、現在のChatGPT「素数が何もわからない」、半年後のChatGPT「わたしは素数がチョットデキル」

[fraction]

どう「深層学習」したら素数を合成数だといい募れるのだろうか？考えてみりゃ、ネットで素数表拾って、例えば5000以下の表しか見当たらなきゃ、それらに載っていなかったから合成数って言えばいいのか。