BERT を用いて livedoorニュースコーパス分類タスクを学習ハイパーパラメータチューニングによって,テスト正答率を 87.6% から 96.7% まで改善おまけ:カテゴリ「エスマックス」の判別は極めて容易 カラクリ株式会社の Research & development チーム(長いので以下 AIチーム)の吉田です.おはこんばんにちは. 本記事では,BERT (Bidirectional Encoder Representations from Transformers) を用いて日本語文書分類タスクを学習し,さらに精度向上のためにハイパーパラメータチューニングを実施した場合の実践例について記しました. BERTは,文章(正確にはトークン列)が入力されるとその特徴ベクトルを出力する,巨大なニューラルネットワークです.2018年10月にGoogleから発表された論文で提案された手法で
![BERTを用いた日本語文書分類タスクの学習・ハイパーパラメータチューニングの実践例](https://cdn-ak-scissors.b.st-hatena.com/image/square/4585df1c9d36e58cbab3deedec6c40a6b3291a67/height=288;version=1;width=512/https%3A%2F%2Fmiro.medium.com%2Fv2%2Fresize%3Afit%3A1200%2F1%2ATKVhygCPovq5SdmtzT3cyA.png)