著者のRani Horev氏はイスラエル出身で、イスラエル国防省のデータサイエンス・チームリーダーを務めたこともあるAI研究者です。同氏が英語長文記事メディアMediumに投稿した記事では、Googleが2018年10月に発表した自然言語処理モデルであるBERTの特徴が解説されています。 Google AI Languageチームが2018年10月に発表されたBERTは、質疑応答や自然言語推論といった様々な自然言語処理のタスクにおいて先行する言語モデルを凌駕する性能を実現しました(BERTのベンチマークテストに関する詳細は本記事末尾の(※註7)を参照)。近年の言語AIモデルのベンチマークになっているタスクは、未知の文字列に対して適切な関係にある単語あるいは文字列を予測するという予測問題を解くことと同義となります。例えば質疑応答タスクにおいては、南カリフォルニアの略称を問う質問を意味する文字
![BERT解説:自然言語処理のための最先端言語モデル | AI専門ニュースメディア AINOW](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d9bb051abdd2acdb7c6f89d7a22992f6f6414ac/height=288;version=1;width=512/https%3A%2F%2Fainow.ai%2Fwp-content%2Fuploads%2F2019%2F04%2FBERT-image1.png)