【TPU】【Transformers】爆速でBERTを作る - Qiita

こないだ参加したコンペでTPU + Transformersを使ってめちゃめちゃ簡単にBERT系のモデルを構築できたのでシェアします。 とにかく速度優先で最近のNLPのトレンドであるBERTを作っていきます。 BERT Googleが考案した汎用言語モデルです。 今回はBERTよりも軽くて速い蒸留モデルであるDistilBERTを使った時短レシピでいきます。 Pretrainモデルはバンダイナムコ研究所が公開している日本語モデルを使います。 TPU TPU（Tensor Processing Unit）はGoogleが自社開発した機械学習周りの計算に特化したプロセッサです。 演算回路を32bitから8 or 16bitに置き換えたり、メモリの読み書きをせずに演算回路間で値を渡したりすることで汎用プロセッサよりも高速に行列演算ができるそうです。 最近だとGCPで利用できたり、Raspberr