Llama 3.3 Swallow – Swallow LLM

合成テキストに含まれる「繰り返し」の除去 8Bモデルを用いたアブレーション実験の際は、合成テキストを用いた継続事前学習は特に問題なく完了しました。しかし、70Bモデルの継続事前学習に用いたところ、ロス・スパイクが頻発して学習が不安定になりました。 そこで合成テキストを再度精査したところ、 \\_\\_\\_... のような同一文字列の「繰り返し」を含む文書がごくわずかに（10万件につき数件程度）存在することが判明しました。 これらの文書をn-gramに基づくルールで除去すると、ロス・スパイクは発生しなくなりました。 この事実だけで繰り返しがロス・スパイクの原因と断定はできませんが、先行研究 (OLMo Team, 2025) では繰り返しが一因となり得ると指摘されています。 したがって、合成テキストを構築する際は、繰り返しを含む文書の除去など、品質確認と修正を行うのがよいという教訓を得まし

[enemyoffreedom]

「Llama 3.3をベースに日本語の能力を強化した大規模言語モデル」

[takjoe]

"日本語理解・生成タスクの平均スコアは0.629となり、今回比較したモデルの中ではGPT-4oの0.646に次ぐ2位の成績を収めました。"

[misshiki]

“Llama 3.3 SwallowはLlama 3.3をベースに日本語の能力を強化した大規模言語モデル (70B) ”