Meta、ネイティブマルチモーダルAI「Llama 4」発表 最小モデルは「H100」1枚で利用可能

また、100以上の言語でそれぞれ10億以上のトークンを含む、「Llama 3」の10倍以上の多言語トークンで事前学習されており、オープンソースのファインチューニングの取り組みを強化したという。 3つのモデルの違い Scoutは、16のエキスパートを持つ170億のアクティブパラメータモデルで、コンテキストウィンドウは1000万トークン（先代の「Llama 3」は12万8000トークン）。ドキュメントの要約や大規模なコードベースでの推論で威力を発揮する。米NVIDIAのGPU「H100」1つで利用可能としている。すべての旧世代Llamaモデルより強力という。広範なベンチマークで米Googleの「Gemma 3」と「Gemini 2.0 Flash Lite」、仏Mistral AIの「Mistral 3.1」よりも優れた結果を示した。 Maverickは、128のエキスパートを持つ170億のア

[misshiki]

“「Scout」（偵察者）、「Maverick」（一匹狼）、「Behemoth」（巨大な怪物）の3種類あり、ScoutとMaverickは同日からllama.comとHugging Faceでダウンロードできる。マルチモーダル機能は、まずは米国の英語版でのみ利用可能”

[awastsk]

セーフガード試す コンテキストでかいのいい

[cocelo]

RunPodでやってみるか

[gabill]

AIは蒸留用と消費者用に分かれて、蒸留用の知性がどのくらいの物なのかは我々一般人は知る由もない世界になっていくのかな

[prjpn]

H100 1枚（約500万円）で利用可能