パラメタ数1.5Bのgpt2-XLを学習した話

この度、gpt2論文を参考に最大サイズのgpt2の日本語版モデルを学習し公開いたしました。 この記事では学習にあたり工夫した点や問題点等を書き連ねます。シングルノードですが比較的大きなモデルを学習しているので知見などを共有できればと思います。 なお学習はA100(40gb)8枚のノードを使って合計70日程かけて学習しました。 現在公開されているdecoder系モデルのうち今回作成したモデルに近い規模のモデルは知る限り2つあり、こちらはgpt3論文を参考にパラメタ設定をしていると考えられ、今回作成したモデルとは層の深さと隠れ層の次元が異なります。 https://huggingface.co/rinna/japanese-gpt-1b https://huggingface.co/yellowback/gpt-neo-japanese-1.3B rinna/japanese-gpt-1bは生

[misshiki]

“gpt2論文を参考に最大サイズのgpt2の日本語版モデルを学習し公開”