BERT:自然言語処理のための最先端の事前トレーニング１．BERT:自然言語処理のための最先端の事前トレーニングまとめ ・自然言語処理は学習に使えるデータが少ない事が問題になっている ・言語構造を事前トレーニングさせる事によりデータ不足問題を大きく改善できる ・双方向型の事前トレーニングであるBERTは従来の事前トレーニングモデルを圧倒 ２．BERTとは？ 以下、ai.googleblog.comより「Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing」の意訳です。元記事の投稿はNovember 2, 2018、Jacob DevlinさんとMing-Wei Changさんです。記事中で言及されているSquad v1.1は今年１月に「人工知能(AI)が読解力テストで世界で初めて人間を凌駕」とニュースになった有名な読解力テストなのです
