概要 BERT (arxiv, GitHub) を理解するための第一歩として、訓練済み日本語モデルを fine-tune して文章のトピック分類の実験をしました。 この記事に含まれない内容: BERT の説明 この記事に含まれる内容: 訓練済み BERT 日本語モデルのまとめ 環境構築や実験にあたって私が遭遇した問題とその対処 BERT が分類に失敗したサンプルの定性的な分析 訓練済みの BERT 日本語モデル 現時点で私の知る限り、日本語に適用できる訓練済み BERT モデルは以下の4つがあります。特に今回の実験では、 使っているトークナイザーが強そう データや諸々のソースコードが公開されている という理由で BERT with SentencePiece for Japanese text を選択しました。 BERT-Base, Multilingual BERT の GitHub レ
![BERT 日本語モデルの実験 - P_N_Dの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/f24a7cde16e54027c51bc5f608ede9a945ae3087/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FP%2FP_N_D%2F20190528%2F20190528210128.png)