CPU 上の BERT 推論パフォーマンスの最適化

著者: Shufan Wu、Tao Lv、Pengxin Yuan、Patric Zhao、Jason Ye、Haibin Lin 2019年9月12日に更新されました。 導入 BERT（Bidirectional Encoder Representations from Transformers）[1]は、2018年10月に公開され、11の自然言語処理タスクにおける最先端の結果を更新し、言語理解、質問応答などの幅広いアプリケーションで人気が高まっています。 BERTはTransformer [2]の骨組みを継承し、多層双方向Transformerエンコーダーを導入しています。BERTはラベルなしテキストから深層双方向表現を事前トレーニングするように設計されており、マスク言語モデル（MLMと呼ばれることが多い）と次の文の予測という2つの革新的な事前トレーニングタスクにより、文レベルとトーク