はじめに 東京工業大学 横田研究室の藤井です。 本日(2024/03/11)Mixtral-8x7B-Instruct-v0.1から日本語継続事前学習を行ったSwallow-MX-8x7b-NVE-v0.1をリリースさせて頂きました。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。公式プロジェクトページはこちらです。 Swallow-MX はMoE(Mixture of Expert)モデルの継続事前学習モデルであり、Denseモデルにおいて有効性が示されている継続事前学習手法がMoEモデルにおいても有効であることを示す結果が得られました。 Denseモデルに対する継続事前学習に関しては、以下のブログやNLP2024の我々の論文をご覧ください。 リリースモデル 日本語継続事前学習済みモデル Swallow-MX-8x7b-NVE-v0.1
![Swallow-MX: Mixtral日本語継続事前学習MoEモデル](https://cdn-ak-scissors.b.st-hatena.com/image/square/1cbf77bc0208b46e4f91008ffe65e0b26da30a46/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--2ATd8Fj7--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3ASwallow-MX%25253A%252520Mixtral%2525E6%252597%2525A5%2525E6%25259C%2525AC%2525E8%2525AA%25259E%2525E7%2525B6%252599%2525E7%2525B6%25259A%2525E4%2525BA%25258B%2525E5%252589%25258D%2525E5%2525AD%2525A6%2525E7%2525BF%252592MoE%2525E3%252583%2525A2%2525E3%252583%252587%2525E3%252583%2525AB%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_34%3AKazuki%252520Fujii%252Cx_220%252Cy_108%2Fbo_3px_solid_rgb%3Ad6e3ed%252Cg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzkxNzBlMjEyODYuanBlZw%3D%3D%252Cr_20%252Cw_90%252Cx_92%252Cy_102%2Fco_rgb%3A6e7b85%252Cg_south_west%252Cl_text%3Anotosansjp-medium.otf_30%3Atokyotech-llm%252Cx_220%252Cy_160%2Fbo_4px_solid_white%252Cg_south_west%252Ch_50%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2NiYTAwZDNmYWIuanBlZw%3D%3D%252Cr_max%252Cw_50%252Cx_139%252Cy_84%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)