LLMの他言語混ざり問題の評価と日本語追加学習の効果について - ABEJA Tech Blog

ABEJAでデータサイエンティストをしている服部です。 弊社は、経済産業省とＮＥＤＯが実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（Generative AI Accelerator Challenge）」の1期に続き、2期にも採択され、そこで大規模言語モデルの開発を進めています。 その中でQwen2.5をベースとして継続事前学習を行なったモデルをいくつか開発し、公開しています。 tech-blog.abeja.asia tech-blog.abeja.asia tech-blog.abeja.asia 1月に公開した32Bモデルのブログにも記載したのですが、時々中国語が混ざる課題が見つかっておりました。 そこでこの問題を定量的に測定する方法を考え、日本語の追加学習をしたモデルで改善しているかを含め確認してみます。 言語混ざり問題について そもそも言語が混ざっ

[sh19910711]

"継続事前学習後のモデルはQwen2.5オリジナルのChatVectorを使っていることで中国語混ざりが少し増えて / PostTraining後のモデルは最終的に日本語の学習をしているため、これにより更に言語混ざりが起きづらく"