390億から820億パラメータへ｜LINEの巨大言語モデル HyperCLOVA開発の裏側 | AI専門ニュースメディア AINOWブログデータが対話精度向上に｜HyperCLOVAの開発の裏側 ーー日本語圏では前例も少ない大規模汎用言語モデルを開発する上で苦労した点はありましたか？ 英語や韓国語のノウハウが日本語のモデルに直接使えないところが大変でした。 モデルの構築は、67億、130億、390億とパラメータを小さいサイズから順番に積み上げています。130億の時、精度がガクンと落ちてしまったんですが、データを整えるなどの試行錯誤をしていくと390億の時に突き抜けて高くなったんですね。 このように、宝探しやハッカソンのように実際に試してみないとわからないことがとても多く、そのうえ、1回の試行錯誤に2週間〜1ヶ月必要だったのが大変でした。 またコーパス作りも大変でした。モデルを学習させるデータは基本的には権利関係を明確にしながら、法律面だけでなく感情面的なところにも深く配慮してコーパスを作りました。 ーー学習させたデータ
