Llama3.1から生まれるImitation modelとその課題

はじめに StoryHub株式会社の@hanamaです。 2024年7月24日に、MetaはLlama3.1 405Bをオープンソースとして公開しました。このモデルは出力を他のモデルの学習に利用できるライセンスのもと公開されたOSSモデルです。 Llama3.1の利用規約から抜粋 If you use the Llama Materials or any outputs or results of the Llama Materials to create, train, fine tune, or otherwise improve an AI model, which is distributed or made available, you shall also include "Llama" at the beginning of any such AI model name. 全

[sh19910711]

2024 / "学習データに含まれないタスクに対しては、ベースモデルからの性能向上が見られない / 著者らは、モデル模倣を「偽りの約束（a false promise）」と結論づけ"