BERTを用いて文章の文法的な正しさをスコア化する - Qiita

こんにちにゃんです。 水色桜（みずいろさくら）です。 本記事では、BERTを用いて文章の文法的な正しさをスコアリングする方法について書いていこうと思います。 本記事は を元として、書いています。（この論文は英語に関して実装していますが、本記事では日本語に関して実装していきます。） （上記の論文に関して日本語で解説している記事↓） BERTのようなMLMモデルでは従来のAutoregressive Modelsは適用することができません。論文で解説された擬似対数尤度スコアを用いて本記事では文法的な正しさをスコア化します。論文では、擬似対数尤度スコアによる MLM Scoring が、GPT-2 のような Autoregressive Models での言語モデルのスコアと同程度、あるいはそれよりも高い確率で、言語学的に正しい文章を判断できることを実験で示していました。 実装 では実際にこの論