はじめに こんにちは。ELYZAの研究開発チームの佐々木 (@hikomimo)、中村 (@tyo_yo_)、堀江 (@eemon18)、平川 (@h__must__) です。 先日弊社株式会社ELYZAでは以下のようなリリースをさせていただきました。 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 上記のリリースには、Metaの「Llama 2」をベースとした以下のモデルが含まれます。 日本語追加事前学習済みモデル ELYZA-japanese-Llama-2-7b ELYZA-japanese-Llama-2-7b-fast 上記の事前学習済みモデルに事後学習 (instruction tuning) を実施したモデル ELYZA-japanese-Llama-2-7b-instruct (デモ)
![ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編](https://cdn-ak-scissors.b.st-hatena.com/image/square/1f98cda5217c6df37b4243c4b1cc12a2f7166968/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--hV7q8HQx--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3AELYZA%2525E3%252581%25258C%2525E5%252585%2525AC%2525E9%252596%25258B%2525E3%252581%252597%2525E3%252581%25259F%2525E6%252597%2525A5%2525E6%25259C%2525AC%2525E8%2525AA%25259ELLM%2525E3%252580%25258CELYZA-japanese-Llama-2-7b%2525E3%252580%25258D%2525E3%252581%2525AB%2525E3%252581%2525A4%2525E3%252581%252584%2525E3%252581%2525A6%2525E3%252581%2525AE%2525E8%2525A7%2525A3%2525E8%2525AA%2525AC%252520%25253A%252520%2525281%252529%252520...%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AAkira%252520Sasaki%252520%252528hiko...%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2M1ODhkZWNjYWMuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3A%2525E6%2525A0%2525AA%2525E5%2525BC%25258F%2525E4%2525BC%25259A%2525E7%2525A4%2525BE%252520ELYZA%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2Q1NjkxOWZhODcuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)