四畳半のオフィスで70億パラメータのLLMを事前学習した話｜Lightblue

はじめにこんにちは、Lightblueの樋口です。 大規模言語モデル(LLM)は大変注目を集めていますが、日本語で事前学習された公開モデルは限定的です。LLMの事前学習は大きなコストがかかるとされており、公開されているモデルは海外のビッグテックが中心で、国内では2件しか例がありません。 ■サイバーエージェント OpenCALM GPT (small, medium, large, 1.4b, 2.7b, 6.8b) 日本語 Wikipedia + Jpanese mC4+ Japanese CC-100 ■rinna rinna GPT GPT (xsmall, small, medium, 1b, neox-small, neox-3.6b) 日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加) その他、日本語

[deejayroka]

“多言語データで事前学習したモデルから、日本語データのみで追加学習を行うことで、低コストで高性能な日本語LLMの開発を目指しました”