ChatGPTは賢そうに見せているだけ？…プログラマーは間違いであっても｢明瞭な｣回答を好む

パデュー大学の研究者が、ソフトウェア開発者やエンジニア向には欠かせないQ&AサイトであるStack Overflowに掲載された517の質問に対するChatGPTの答えを分析した。 ChatGPTの回答について、正確性、整合性、包括性、簡潔性について評価したところ、52％の回答が完全に間違っており、77％は冗長だった。 そして、さらなる分析で、Stack Overflowの回答において、ChatGPTユーザーは40％の確率で、間違いがあったとしても人間の回答よりもChatGPTの回答を好むことがわかった。 間違っていてもChatGPTの回答を好む理由は、ユーザーが回答の包括性や明確な言語構造を好んでいることが理由のひとつであることが示唆されたという。 このユーザー分析では、たった12人のプログラマーが、ランダムにサンプリングされた2000の質問に対して、ChatGPTの回答とStack O