【深層学習】Fine-TuningにTransformersのTrainerクラスを利用する - Qiita

以前、IBM論文の参考コードでTabBERTモデルの事前学習を行い、Fine-Tuningについては自作コードを実装しました。 自作コードで一応Fine-Tuningをできるようになったのですが、 F1スコアなどのメトリクスを計算するだけでも面倒さを感じていました。 事前学習のときと同様にTransformersのTrainerクラスを使えればメトリクスも簡単に出せるのに...といろいろ調べてみたところ、下流タスク用のヘッドをボディ(事前学習済モデル)に付加したものについても、普通にTrainerクラスが使えることがわかりました。 そんなわけで、今回は以前の自作コードをTrainerクラスを使ってリファクタリングしました。 また、今回のリファクタリングのついでに、WandBの導入やオーバーサンプリング処理の追加も行ったので、最後の方におまけで書いています。 実装 ポイントとなる部分だけ書き