最近の改訂でGPT-4の精度が劣化したとの噂があったので検証してみた｜IT navi

最近、Twitterの投稿などで、5/12のバージョンアップ以降、ChatGPTのGPT-4モデルの精度が劣化したとの意見を見ましたので、実際に検証してみました。 以下は、同じプロンプトでGPT-4モデルが出力した文章です。どちらがバージョンアップ前でどちらがバージョンアップ後かわかりますか？ AIによる文章生成技術の概要 近年、AI技術の発展により、文章生成に関する研究が盛んに行われています。文章生成AIは、自然言語処理（NLP）と機械学習を活用し、人間のように文章を生成することができる技術です。これにより、ブログ記事やニュース、広告コピー、会話型AI（チャットボット）など、さまざまな分野での応用が期待されています。 AIによる文章生成技術の概要 AIによる文章生成技術は、人工知能の一分野であり、特定のテーマやスタイルに従って文章を自動的に生成する技術です。この技術は、自然言語処理（NL

[shunkeen]

pluginsが出てきた以上、外部化可能な論理的推論能力が多少落ちようが、pluginsを使いこなして、結果を解釈できるだけの判断能力と応答速度があれば十分ってのは、確かにね～。

[knok]

web版だとある程度温度が設定されているから判断するには厳しいような。温度0にしてAPIで評価しないと

[T-norf]

逆にGPT-3.5は性能上がった気がする。あとGPT-4のプログラミング能力は伸びてない？

[ookitasaburou]

入力　三角形の3辺の長さがa=√13、b=3、c=4のとき、この三角形の外接円の半径を求めてください。ただし、ヘロンの公式は使わないでください。

[misshiki]

“「5/12のバージョンアップ以降、GPT-4モデルの精度が劣化したというのは本当か？」という問いに対して、あえてイエスと答えます。ただし、クリティカルなものとは言えません”