huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる - Qiita

huggingface / transformersを使って日本語BERTの事前学習を実施してオリジナルな言語モデルを作ってみる自然言語処理PyTorchberttransformershuggingface はじめに huggingfaceのtransformersのライブラリを使ってBERTの事前学習をやってみました。日本語でBERTの事前学習をスクラッチで行っている記事が現段階であまり見当たらなかったですが、一通り動かすことができたので、メモがてら残しておきます。 BERTの事前学習をしてみたいけど、いまいちやり方がわからない人の一助になれば幸いです。 正直まだわかっていないところが多々ありますし、紹介する内容がセオリーな方法かもよくわかっていません。 あれこれ試している最中ですので、もっとこうしたほうがいいよ、みたいなアドバイスございましたらご教示いただけると幸いです！ 参考文献

[somemo]

“今回事前学習としてはMLMだけでいいと思ったので、BertForMaskedLM、NSPも合わせて事前学習にするときは、BertForPreTraining。事前学習でNSPするときは、用意するコーパスはドキュメント毎に空行を入れる必要あり”

[Nyoho]

ちょうどtransformersのデモを作って見せたところだった。pipelineという便利な関数があることを知れた!