日本語BERTモデルをPyTorch用に変換してfine-tuningする with torchtext & pytorch-lightning - radiology-nlp’s blog

TL;DR ①TensorFlow版訓練済みモデルをPyTorch用に変換した (→方法だけ読みたい方はこちら) ②①をスムーズに使うための torchtext.data.Dataset を設計した ③PyTorch-Lightningを使ってコードを短くした はじめに 日本語Wikipediaで事前学習されたBERTモデルとしては, 以下の2つが有名であり, 広く普及しています: SentencePieceベースのモデル (Yohei Kikuta さん提供) TensorFlow版 Juman++ベースのモデル (京大黒橋研提供) TensorFlow版 PyTorch版(Hugging Face transformers準拠) このうち, SentencePieceベースのものは現在TensorFlow版のみの提供となっており, PyTorch版は存在しません。 そのため, 私のよう

[knok]

Hugging Faceのtransformers使うなら東北大学 乾・鈴木研究室が公開している日本語BERTも使える。transformers-cliでダウンロードできるしPyTorchでそのまま使える https://github.com/cl-tohoku/bert-japanese

[yarumato]

“日本語Wikipediaで事前学習されたBERTモデルとして以下の2つが有名。TensorFlow版のみの提供となっており, PyTorch版は存在しません。実は, ほんの少し工夫するだけでPyTorch版に変換することは可能です”