AIにとって難しいクイズ問題を集めた新しい質問応答データセット３つの要点 ✔️新しい早押しクイズ形式の質問応答データセットが登場 ✔️人間がAIを「騙そう」と試行錯誤しながら、クイズ問題を執筆 ✔️「人間には簡単だが、AIには難しい」新しい質問応答データセットが作成された ディープラーニングを用いた自然言語処理の手法によって、文書読解や自然言語理解などの様々なタスクで、AIのモデルが人間と同等、もしくは人間を超える性能を獲得しはじめています。例えば、文書読解のデータセットSQuADのリーダーボードや、自然言語理解のデータセットGLUEのリーダーボードをみれば、これらのデータセットでAIのモデルが実際に人間を超える性能を出したことが分かります。 しかし、AIは本当に言語を理解していると言えるのか、というと、多くの研究者は、そうではないと答えるでしょう。なぜなら、現状のAIは、言語を理解するのではなく、言語の表層的なパターンをデータセットから学習すること
