【入門者向け】Perplexityを直観的に理解する今回は、BERT や GPT3 などの言語モデルを評価する際に一般的に利用されている perplexity (パープレキシティ)について解説したいと思います。 ここでは、厳密な説明というよりは直観的にわかりやすく、論文等を読んでいてぱっとイメージが湧くような説明をしたいと思います。 言語モデルとは まず、言語モデルとは、ざっくり言うと次にどんな単語が出現する？かという確率を計算するモデルのことを言います。 これではわかりにくいので簡単な例で見てみましょう。 例えば「私は 犬が 好き です」という文章があるとします。 そして、「私は 犬が 好き ( )」として、カッコの中に入る単語は以下のうちどれでしょう？という問題を考えます。 猫 です 行った 丸い 犬 日本語がある程度わかっている人であれば、文法的にも意味的にも2の「です」を選ぶのではないでしょうか。 これは、「?」に入る可能性の高い
