前回は、センター試験の英語読解問題に必要となる単語分散表現による単語理解について説明しました。紹介した単語分散表現獲得の例では、決まった範囲の周辺単語から単語分散表現を獲得していました。しかしながら、この方法では1単語で1つの意味しか表現することができず、多義語のように文脈で意味が変化する単語には対応できません。 例えば、「have」という単語は「I have a dog」だと「飼っている」という意味になり「I have breakfast」だと「食べる」という意味になります。多義語は意味ごとに周辺単語の種類も異なるため、それを1つの意味だけで捉えようとするのは困難です。 その解決方法の一つとして、文章に含まれる単語全体を使って単語分散表現を獲得する文脈理解を行います。文章全体を入力として単語分散表現を求めるので、文章ごとに異なる単語分散表現を獲得することができます。 次に紹介する「Tra
![汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか? コンピュータの文脈理解について解説](https://cdn-ak-scissors.b.st-hatena.com/image/square/e715150091568438ae18d00482bfe4fbf2ea6656/height=288;version=1;width=512/https%3A%2F%2Fimage.itmedia.co.jp%2Fait%2Farticles%2F2209%2F14%2Fcover_news007.png)