はてなブックマーク

ベースモデルの網羅的なベンチマークスコアについては、以下のモデルカードをご覧ください。 Swallow Projectで評価した多数のモデルの評価結果については以下も参照ください。 関連研究 以下にLLMのコード能力を向上させる取り組みとして今回Swallow Project内で行った実験の関連研究(Related Works)を示します。関連研究のすべての知見を吸収できているわけではないため、我々が行ったフィルタリングに追加して工夫を適用する際の補助や、実験背景を理解する際に参照ください。 Llama-3 最初は、学習元のベースモデルでもあるLlama-3の論文です。コード能力を上昇させるために、コードデータにどの様な工夫をMeta社が行っているかを説明します。 Data Curation 3.1.1 Web Data Curationセクション(arxiv)にあるように、コードや数学に