OpenAIが公開したLLMの事実性を評価する指標「SimpleQA」でモデルを測定してみた｜調和技研ブログ

事実に対する高い正確性質問と回答のデータセットは、2 人の AI トレーナーがそれぞれ事実に基づいて独立して作成した後、組み合わせることで正確性を高めています。質問は予測回答の採点が 容易な内容で作成されています。 事実に対する高い正確性 科学技術・スポーツ・政治・音楽・テレビ番組・ビデオゲームまで、幅広いトピックを カバーしています。質問と回答は4,326組あり、従来の評価指標に比べ、ばらつきが少ない構成となっています。 最新のLLMでも回答が難しい質問事項2017年発表のTriviaQAや、2019年発表のNQなどの評価指標は最新のLLMでは、容易に 回答ができてしまいます[2][3]。SimpleQAは最新のLLMが回答することが難しい質問を 取り入れ、LLMにとって大きな挑戦となるように作成されています。 優れたUXSimpleQAは、質問と回答が簡潔であるため、実行が高速かつシン