ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編

はじめに こんにちは。ELYZAの研究開発チームの佐々木 (@hikomimo)、中村 (@tyo_yo_)、堀江 (@eemon18)、平川 (@h__must__) です。 先日弊社株式会社ELYZAでは以下のようなリリースをさせていただきました。 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 上記のリリースには、Metaの「Llama 2」をベースとした以下のモデルが含まれます。 日本語追加事前学習済みモデル ELYZA-japanese-Llama-2-7b ELYZA-japanese-Llama-2-7b-fast 上記の事前学習済みモデルに事後学習 (instruction tuning) を実施したモデル ELYZA-japanese-Llama-2-7b-instruct (デモ)

[misshiki]

“日本語追加事前学習済みモデルに着目し、そのモチベーションや学習手順の詳細、また現時点で成功していない実験についても説明”