ALBERTを使った汎用的な日本語QAモデルにリベンジ - Qiita

はじめに 以下記事のリベンジを行って、一応動作するところまでたどり着きました。 非常にニッチですが、ALBERTの日本語QAモデルの記事は他に無いのではと思い、改めて記事にした次第です。 手順 ・既存の日本語事前学習モデルを使用 ・SQuAD2.0 形式の公開データセットを使用 ・データセットをNEologdで分かち書き←追加 ・QAモデルとしてfinetuning ALBERTとは A Lite BERT。 BERTの改良版。 軽量かつスコアもBERTよりいい(らしい) 結論 前回の失敗の原因は、学習データを分かち書きしていなかったためと思われる。 ※BERTにはBertJapaneseTokenizerがありイイ感じにしてくれているが、ALBERTにはそれに相当するものがないためか。 やったこと 事前学習データを用意する 前回同様にhuggingfaceからダウンロード可能なALBER

[jnory]

日本語ALBERT公開以来まともに使っていただいた記事はじめてなので嬉しいです😊