BERTの学習済みモデルを利用して日本語文章の尤度を測る - Qiita

概要 BERTの本家には文章の尤度を測るサンプルがなかった。 尤度を測れるまでの作業メモ 本家 GitHub google-research/bert 言語モデル拡張 GitHub xu-song/bert-as-language-model 日本語モデル BERT with SentencePiece を日本語 Wikipedia で学習してモデルを公開しました 日本語モデルコード GitHub yoheikikuta/bert-japanese 謝辞 google-researchチーム、xu-songさん、yoheikikutaさんに感謝いたします。 フォークしたソース GitHub KTaskn/bert-as-language-model 手順 言語モデル拡張をgit cloneする 日本語モデルコードからtokenization_sentencepiece.pyをダウンロードす