BERT 日本語モデルの実験 - P_N_Dの日記概要 BERT (arxiv, GitHub) を理解するための第一歩として、訓練済み日本語モデルを fine-tune して文章のトピック分類の実験をしました。 この記事に含まれない内容： BERT の説明 この記事に含まれる内容： 訓練済み BERT 日本語モデルのまとめ 環境構築や実験にあたって私が遭遇した問題とその対処 BERT が分類に失敗したサンプルの定性的な分析 訓練済みの BERT 日本語モデル 現時点で私の知る限り、日本語に適用できる訓練済み BERT モデルは以下の4つがあります。特に今回の実験では、 使っているトークナイザーが強そう データや諸々のソースコードが公開されている という理由で BERT with SentencePiece for Japanese text を選択しました。 BERT-Base, Multilingual BERT の GitHub レ
