また、100以上の言語でそれぞれ10億以上のトークンを含む、「Llama 3」の10倍以上の多言語トークンで事前学習されており、オープンソースのファインチューニングの取り組みを強化したという。 3つのモデルの違い Scoutは、16のエキスパートを持つ170億のアクティブパラメータモデルで、コンテキストウィンドウは1000万トークン(先代の「Llama 3」は12万8000トークン)。ドキュメントの要約や大規模なコードベースでの推論で威力を発揮する。米NVIDIAのGPU「H100」1つで利用可能としている。すべての旧世代Llamaモデルより強力という。広範なベンチマークで米Googleの「Gemma 3」と「Gemini 2.0 Flash Lite」、仏Mistral AIの「Mistral 3.1」よりも優れた結果を示した。 Maverickは、128のエキスパートを持つ170億のア
