「japanese-large-lm」は、同社が以前から取り組んでいる日本語の大規模言語モデル「HyperCLOVA」の研究開発プロジェクトと並行して、Massive LM開発ユニットにより開発された。 なお、本モデルのライセンスは、商用利用が可能な「Apache License 2.0」となっている。 同モデルの訓練には、同社独自の大規模日本語Webコーパスが利用され、Web由来のテキスト特有のノイズを除去するために、同社NLPチームのメンバーが開発したOSSの「HojiChar」によるフィルタリング処理が適用されている。また、最終的な学習には約650GBのコーパスが利用されている。加えて本モデルでは、「3D Parallelism」「Activation Checkpointing」などの手法を用い、学習を高速化している。 学習したモデルの性能評価には、Perplexityスコア(PP
![LINE、商用利用が可能な日本語大規模言語モデルをOSSで公開](https://cdn-ak-scissors.b.st-hatena.com/image/square/86f3fa7fa4c18143fbb0232c80316c18db0267f7/height=288;version=1;width=512/https%3A%2F%2Fcodezine.jp%2Fstatic%2Fimages%2Farticle%2F18154%2F18154_ogp.jpg)