BERTの改良版「RoBERTa」を、日本語版GPT-2と同じコーパスで学習させた、「RoBERTa日本語版」の事前学習済みモデルがリリースされました。 リリース内容 これまで、日本語版GPT-2プロジェクトを通じて、GPT-2及びTransformerをベースとしたニューラルネットワークの学習について知見を得てきました。 この度、GPT-2と同じようにTransformerベースの機械学習モデルの、「RoBERTa」の日本語版を作成し、リリースしました。 「RoBERTa」は、Liu, Yinhanらが提案する、BERTの改良版です。 RoBERTaの、BERTからの改良点は学習手法の改良のみで、モデル構造そのものはオリジナルのBERTそのものです(こちらの記事などが詳しいです)。 「RoBERTa日本語版」は、事前学習のためのプログラムも、MITライセンスで公開しています。 また、クラ
![【改良BERT】BERTの改良版「RoBERTa」日本語版リリース by 「危険すぎる」と話題になった文章生成AI、GPT2の日本語版を作成したい](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f18caa6d45478845ba7bd971fbb2c18072b4d67/height=288;version=1;width=512/https%3A%2F%2Fstatic.camp-fire.jp%2Fuploads%2Fproject_version%2Fimage%2F483049%2Fmedium_93d49a2a-3eeb-4a4b-a1ef-8883fc9822ed.jpg)