rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習 | Ledge.ai

Top > 学術＆研究 > rinna、日本語に特化した「GPT-2」「BERT」事前学習モデルを無償公開 75ギガバイトのデータを最大45日間で学習

[kachine]

「ほかのオープンソースのモデルでは学習データは多くて20ギガバイトほどです。（rinnaによる学習データは）その3倍」英語圏と比較するとUTF8の日本語マルチバイト文字ってだけで概ね3倍になるのでは？

[knok]

コーパスは日本語CommonCrawlとWikipediaか

[aox]

過学習そう ʕ•̫͡•ʕ•̫͡•ʔ•̫͡•ʔ•̫͡•ʕ•̫͡•ʔ•̫͡•ʕ•̫͡•ʕ•̫͡•ʔ•̫͡•ʕ•̫͡•ʕ•̫͡•ʔ

[misshiki]

“日本語に特化した「GPT-2」と「BERT」の事前学習モデル...、開発した事前学習モデルとその学習を再現するためのソースコードを、GitHubおよびNLPモデルライブラリHuggingFaceにMITライセンスのオープンソースとして公開”

[naggg]

おお！

[k_oshima]

日本語コーパスは何だろう

[mysql8]

GPT-3は?