AI「はっきりしませんが……」 “自信がないAI”に人はどう反応する？ 米Microsoftらが400人以上で実験

実験の結果、AIの回答に同意した割合は、グループ1の80.9％に対し、グループ2では74.8％と有意に低く、グループ3でも77.6％と低かった。AIの回答に対する参加者の自信も似た割合であった。つまり、自信がない回答をされるとAIに対する参加者の自信と同意する傾向が下がった。 その一方、参加者の最終的な回答の正確さは、グループ1の63.9％に対し、グループ2では72.8％と有意に高く、グループ3も67.9％とやや高かった。この結果は、参加者のAIに対する過度な依存が減った可能性（完全には排除されない）を示唆する。 続いて、グループ1ではLLMとは別にネット検索をする割合が19.1％だったのに対し、グループ4では92.9％だった。またAIの回答が不確実性を含む場合、AIの回答を利用する割合が有意に低下し、独自検索をする割合が上昇した。さらに、AIの回答が不確実性を含む場合、回答時間が長くなる

[JULY]

「グループ4の回答の正確さは74.2％とさらに高かったため、LLMを全く利用せずに、始めからネット検索した方が正確な回答を導けることを示唆した」意図的に AI の正答率を下げれば人を誘導できる、ということだよなぁ。

[Seamless]

AIが答えに自信がないと言うと人はその出力に対して警戒心を強め他の場所(ネット検索)で正確な情報を探し出し正解率を上げる。