ついに1000万トークンを把握!人間の一生分の情報を理解してくれるオープンウェイトLLM Llama4登場｜shi3z

ついに1000万トークンを把握!人間の一生分の情報を理解してくれるオープンウェイトLLM Llama4登場 朝起きたら突然、Llama4が超絶進化して登場していた。 中でも、シングルGPUで動作するLlama4 Scoutは1000万トークンのコンテキストウィンドウを装備。しかもシングルGPUで動作可能。アクティブパラメータはわずか17B(トータル109B) 1000万トークンって、単行本100冊分だぞ。 単行本100冊の知識が常に頭にある知性ってやばくないか。 ワイだって相当本を読んできた方だが100冊分の知識を澱みなく把握するのは不可能。 さらにLlama4 Maverickは、挨拶がわりに100万コンテキストでしかもシングルGPU(多分VRAM 80GBくらいの)で動作可能。こちらもアクティブパラメータ数は17Bでトータル400B。量子化やメモリオフロードがしやすい構成だ。 Scou

[strawberryhunter]

コンテキストウィンドウはどんどん大きくなっていくな。メモリもプロセッサも馬鹿食いするはずだけど。

[nekoline]

“MacStudio 512GB” 1,493,800円（税込）または 62,241円/月、月額 24回払い

[shinobue679fbea]

現時点でかなり酷く、パラ数で不利なはずのDeepSeekやQwenはおろか下手すりゃllama3.2に負ける性能っぽいので、今後の改善に期待。ロングコンテキストも読めるだけで現状活かせていない模様

[misshiki]

“シングルGPUで動作するLlama4 Scoutは1000万トークンのコンテキストウィンドウを装備。しかもシングルGPUで動作可能。アクティブパラメータはわずか17B(トータル109B)1000万トークンって、単行本100冊分だぞ。”

[timetrain]

伝承族の検証を見ているような気分

[san57]

本当に長大プロンプトの隅から隅まで把握して回答してくれるのか？

[kotesaki]

こういう即日GGUF版の量子化・蒸留モデルリリースしてくれる有り難い御仁はどんなリソースをお持ちなんだろうなぁ？まさか個人でH100とか持ってるの？

[sudow]

Bedrockで試そう

[ST0RM]

もうAWSのベッドロックで使える...!

[mr_mayama]

わーい、Mac studio買うか

[mayumayu_nimolove]

apiで安い以外は知らない

[Usus_magister_est_optimus_t]

法律、会計基準などの理解がどうなるんだろうか。