ALBERTを使った日本語QAモデルを作りたかった - Qiita

はじめに やること 以下記事(以降、参考記事)でBERTを使った日本語QAモデルの作成について解説されていたので、それを参考にALBERTで動作を目指した。 手順 ・既存の日本語事前学習モデルを使用 ・SQuAD2.0 形式の公開データセットを使用 ・QAモデルとしてfinetuning 環境 Google Colaboratory ALBERTとは A Lite BERT。 BERTの改良版。 軽量かつスコアもBERTよりいい(らしい) ※BERTの説明をするには余白が足りない。 結論 失敗 自分のレベルでは、なぜ上手くいかなかったかもわからない。。。 この記事を読んだあなた。どうか真相を暴いてください。（そしてこっそり教えてください） それだけが私の望みです。 やったこと 事前学習データを用意する まず、ここで詰まった。 BERTでは参考記事でも紹介されている通り、有名な東北大学様の日