文章読解でもAIがついに人間超え、グーグルの「BERT」発表から1年で急成長かつてはディープラーニング（深層学習）の適用が難しいと言われていた自然言語処理の分野でも、人工知能（AI）が人間の認識精度を上回るようになった。米グーグル（Google）の機械学習手法「BERT」の発表をきっかけに、この1年で状況が激変した。 グーグルが2018年10月に発表したBERTは、文章の「言語らしさ」を予測する言語モデルを「Transformer」というニューラルネットワークを多段に重ねて実装したものである。言語らしさの予測は、AIが単語や文章を理解したり自然な文章を生成したりするうえで必要不可欠な要素である。言語らしさを基準に、単語と単語や文章と文章の関係をベクトルで表現したり、ある単語の次にどの単語が続くべきかを予測したりできるようになるからだ。 言語モデルの応用先としては、機械翻訳や機械読解、質問応答、言葉の言い換え（換言）、表現が異なる2つの文章の意味が同じかどうかの判断
