Swallow: LLaMA-2 日本語継続事前学習モデルはじめに 東京工業大学 横田研究室の藤井です。 本日(2023/12/19)Llama 2から日本語継続事前学習を行ったSwallow-7B, Swallow-13B, Swallow-70Bをリリースさせて頂きました。 本モデルの開発は、産総研、東京工業大学 岡崎研究室、横田研究室の合同プロジェクトにて行われました。公式プロジェクトページはこちらです。 Swallow-70Bはオープンな日本語モデルにおいて最高の日本語性能を記録しました。 (後述のモデル評価セクションを参照のこと) リリースモデル 日本語継続事前学習済みモデル Swallow-7B Swallow-13B Swallow-70B 上記モデルに指示チューニングを施したモデル Swallow-7B-instruct Swallow-13B-instruct Swallow-70B-instruct 本記事では、Swallow
