サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
体力トレーニング
qiita.com/yydevelop
はじめに 以下記事のリベンジを行って、一応動作するところまでたどり着きました。 非常にニッチですが、ALBERTの日本語QAモデルの記事は他に無いのではと思い、改めて記事にした次第です。 手順 ・既存の日本語事前学習モデルを使用 ・SQuAD2.0 形式の公開データセットを使用 ・データセットをNEologdで分かち書き←追加 ・QAモデルとしてfinetuning ALBERTとは A Lite BERT。 BERTの改良版。 軽量かつスコアもBERTよりいい(らしい) 結論 前回の失敗の原因は、学習データを分かち書きしていなかったためと思われる。 ※BERTにはBertJapaneseTokenizerがありイイ感じにしてくれているが、ALBERTにはそれに相当するものがないためか。 やったこと 事前学習データを用意する 前回同様にhuggingfaceからダウンロード可能なALBER
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く