1.BERT:自然言語処理のための最先端の事前トレーニングまとめ ・自然言語処理は学習に使えるデータが少ない事が問題になっている ・言語構造を事前トレーニングさせる事によりデータ不足問題を大きく改善できる ・双方向型の事前トレーニングであるBERTは従来の事前トレーニングモデルを圧倒 2.BERTとは? 以下、ai.googleblog.comより「Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing」の意訳です。元記事の投稿はNovember 2, 2018、Jacob DevlinさんとMing-Wei Changさんです。記事中で言及されているSquad v1.1は今年1月に「人工知能(AI)が読解力テストで世界で初めて人間を凌駕」とニュースになった有名な読解力テストなのです
![BERT:自然言語処理のための最先端の事前トレーニング](https://cdn-ak-scissors.b.st-hatena.com/image/square/8612eea694fe8d0154eb7534f768d483a499d7e1/height=288;version=1;width=512/https%3A%2F%2Fwebbigdata.jp%2Fwp-content%2Fuploads%2F2018%2F04%2Fartificial-intelligence.jpg)