BERT 実装入門

BERT の理論的な部分はなんとなく理解していたけれど、世に出回っているライブラリの実装がどうなっているかはよく知らなかった。 それで、色々入門記事っぽいのを漁っていたが、とりあえず以下の記事が一番良さそうに見えたのでざっと読んでみることにした。 必要な箇所を自分用にかいつまんでいるだけなので、翻訳記事ではない。 以下「ライブラリ」と言っているのは huggingface の Transformers のことである。 ライブラリの構成 ライブラリでは大元の BERT 以外にも RoBERTa や XLNet のような亜種も使うことができる。 これらの BERT や RoBERTa のような transformer を部品としたモデル各々に対し、以下の3つのクラスが用意されている。 model クラス: モデルのアーキテクチャが PyTorch で実装されている（BERT であれば Bert