GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに 2023/8/29 LLM プロンプト 論文 AIDB Research 今回紹介する研究は、大規模言語モデル(LLM)であるGPT-4が、多肢選択問題(MCQ)において選択肢の順序に敏感であるという事実を明らかにしています。 この研究は、リクルートのAI研究所であるMegagon Labsのグループによって発表されました。研究者たちは、GPT-4とInstructGPTの2種類のモデルを用いて、5つの異なるMCQベンチマークで実験を行いました。その結果、選択肢の順序を単純に入れ替えるだけで、モデルの性能に13%から75%もの大きな変動が生じることが確認されました。 この記事では、この研究の詳細とその意義、そして今後どのような対策が考えられるのかについて、深く掘り下げていきます。 参照論文情報 タイ