自然言語処理タスクを概観する(2) トークン単位の分類問題とその変形 - radiology-nlp’s blog

NLP Progress という素晴らしいリポジトリを見つけました。整理の意味を込めてまとめます。 NLPの種々のタスクとそのSOTAが掲載されています。 NLPのベンチマークとなる有名なデータセットも一緒に紹介されており，NLP論文を読むうえで大きな助けとなってくれるでしょう。 2. 質問応答 QA (Question Answering) 概要 質問に正しく応答するタスク. さまざまな問題設定が存在し, それぞれに対してアプローチも異なるため, ここで独立した項として扱う. 2-1. 択一式問題への回答 概要 問題文と選択肢が与えられ, 正解を選択肢から一つ選ぶ. データセット例 英語 ARC (AI2 Reasoning Challenge) Dataset Easy Set: 小学校〜高校レベルの知識を想定した択一式問題. Challenge Set: 単純な検索ベースや共起ベース