LINE、商用利用が可能な日本語大規模言語モデルをOSSで公開

「japanese-large-lm」は、同社が以前から取り組んでいる日本語の大規模言語モデル「HyperCLOVA」の研究開発プロジェクトと並行して、Massive LM開発ユニットにより開発された。 なお、本モデルのライセンスは、商用利用が可能な「Apache License 2.0」となっている。 同モデルの訓練には、同社独自の大規模日本語Webコーパスが利用され、Web由来のテキスト特有のノイズを除去するために、同社NLPチームのメンバーが開発したOSSの「HojiChar」によるフィルタリング処理が適用されている。また、最終的な学習には約650GBのコーパスが利用されている。加えて本モデルでは、「3D Parallelism」「Activation Checkpointing」などの手法を用い、学習を高速化している。 学習したモデルの性能評価には、Perplexityスコア（PP

[collectedseptember]

こういうのがLINEから出るの、考えてみればおかしくはないのか。

[ys0000]

今度はOSSだった。サービスに組み込まれたらLINEメチャ使うようになるかもなぁ。現在はほぼ使っていない。

[mistake3]

答えをオヤジ構文で返してきそう🤔

[hatebu_ai]

？？？「Hi, LINE、いじめっこに呪い返しするのに最適な呪言を生成して」