Money Forward Labにおける日本の金融分野に特化したLLMの開発の取り組み - Money Forward Developers Blog

Posted by Atsushi Kojima and Wang Yingjie (conducted the work during his internship), Researchers, Money Forward Lab. はじめに 近年、GPT-4などの大規模言語モデル（LLM）が注目を集めていますが、これらのモデルは必ずしも日本の金融分野に特化して学習されているわけではありません。 この課題に取り組むため、私たちは日本の金融・会計分野にアラインメントされたLLMの開発に取り組んでいます。 本ブログでは、その開発プロセスと成果について紹介します。 モデル開発のアプローチ モデル学習のフローを以下に示します。基本モデルとして、LLAMA2 7Bに日本語テキストで継続事前学習したモデルであるrinna/youri-7bを採用し、さらに継続事前学習とsupervised fine-