Timothy John BaldwinProfessor, Associate Provost and Acting Head of the NLP Department of Mohamed Bin Zayed University of Artificial intelligence 近年,「事前学習済み言語モデル」の普及により,自然言語処理モデルの精度と汎用性が大幅に向上している。簡単に言うと,言語モデルは文脈の中で単語が出現する確率を予測するモデルである。例えば,“The baby emerged from its mother’s pouch. (赤ちゃん は母親のおなかの袋から出てきた)”という文において, を埋める単語として言語モデルは“kangaroo (カンガルー)”や“koala (コアラ)”に高い確率で割り当て,“kangaroos (カンガルー複数形)”,“ele