やったこと 公式のBERTを動かしてみる 日本語の分類タスクでファインチューニングしてみた 本記事のターゲット BERTに興味がある人、日本語タスクでどんな精度が出るのか知りたい人 自然言語系の研究に興味がある人 実験とか好きな人 BERTって? 少し前にディープラーニング界隈・自然言語界隈で大変話題になった新しいモデルです。 ざっくりいうと、BERTっていうすごい(学習済の)モデルを使えば、色々な自然言語系のタスクを少ない時間で、高い精度が出せるかも!ってことで話題になりました。 2018年10月11日にGoogleから公開されたもので、双方向Transformerで言語モデルを事前学習することで汎用性を獲得し、転移学習させると8個のベンチマークタスクでSOTA(最先端の結果)を達成したそうです。 ちなみに8個のタスクは下図のような感じです。 引用元: https://twitter.c
![汎用言語表現モデルBERTのファインチューニングをやってみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/0f200f710c702806d8684c2a9ac358537fbb71ab/height=288;version=1;width=512/https%3A%2F%2Ftech.fusic.co.jp%2Fog%2Fposts%2Fbert-fine-tuning-test.png)