【徹底解説】DeepSeek v4.1 Flashの内部構造【最適化したから解ること】｜shi3z

DeepSeek v4.1の推論エンジンの高速化をしていたら、どんどんDeepSeekアーキテクチャに詳しくなってしまった。オープンウェイトだからこそ解るDeepSeekの魅力、今回はこれまでの最適化からわかったDeepSeekの構造の秘密を解き明かしてみよう。 本稿は、DeepSeek v4.1 Flashに至るまでのアーキテクチャ上の進歩や工夫を時系列で追いながら最新のLLMの論点を僕なりに整理したものだ。 途中出てくる図や数式はGeminiが書いたか僕が書いたもので、間違っているところも多々あるかもしれないが、なによりこの文章を僕自身が読んでみたくて書いている。間違いに気づいたら後から修正する。とりあえずこの冒険をぜひ一緒に楽しんでほしい。 説明をすっ飛ばしそうになるところは、ところどころGemini先生に登場してもらって数学的・理論的な説明を加えてもらっている。読者が自分でコピペし

[Kesin]

全部理解はできなかったけどLLMのアーキテクチャの進化の歴史に触れられて面白かった。新しいモデルが出るたびにllama.cppの対応を待つわけだけどそれは当然だわな

[taguch1]

いろんなところで似たような最適解に辿り着くのは結局同じ制約を与えると似たような答えになる。ToolSearchやら検索エンジンなCDNやDBインデックス、各種分散システム等々似たようなデジャブになるのは正しいのか。

[tyhe]

なんも分からんけど Engram の概念ちょっと面白いなー。

[soulfulmiddleagedman]

DSFで、OSS読ませて、無茶振りして、眺めてるのが最近の趣味。あきらめるなっとかいうと、リバースアセンブリとかまでしてくれる。単純に楽しい。

[north_korea]

トランスフォーマー入門すると大体みんなあの意味わからないQKVの計算式で意味わからんけど一応納得しておくかってなるよね

[star_123]

一部しかわからんからまた読む

[yamazakicker]

全然理解できないまま流し見したが面白い、ちゃんといろいろアーキテクチャ工夫されてるんだなあ　LLMはいまや力こそパワーの世界だけかと思ってた

[strawberryhunter]

これよね。中国勢のAIをどうせ蒸留でーとか言っている人たちは何もわかっていない。中国はAI人材を出国禁止にしたり、すでに本気で覇権を守りに入っている。

[klaps]

マジでわかんねぇ。頭の良い人たちが考えた仕組みで馬鹿が攻撃してくる時代。

[circled]

モデルの巨大化は飽きた。そんなのは米国の奴らに任せておけば良い。むしろこれからは、計算・保存・検索をどれだけサボれるようにしたかだ！！みたいな話

[auto_chan]

巨大なモデルを作る。が毎回全部計算・全部保存するのはやめる……資本と計算資源の土台にスケーリング則で殴ってくる米帝と、資源不足の中で創意工夫をこらして追いすがる解放軍みたいな物語性があるな！ｼﾗﾝｹﾛ

[kimihito]

“DeepSeekのアーキテクチャを追いかけると、LLMの実装を読んでいるはずなのに、途中からデータベース、検索エンジン、キャッシュ戦略、GPUカーネル、分散コンピューティングの話になってくる。”

[mn_kun]

ありがとう

[nguyen-oi]

DeepSeekの最適化からここまで内部構造を読み解くの凄まじいな

[RySa]

力作！解析と内容まとめお疲れ様でした。一般教養対応はもう現状で充分で後は用途や業務内容ごとに専用AIを開発して連携させた方がリソース効率が良いと思う。

[harumomo2006]

すごいな、どんどん人間の脳に近づいている。しかし業務用コードは1関数が10万行あったりするんだよね、全部読んでくれないかな＞100万トークンあれば、たいていのプログラムは丸呑みできてしまう

[hakasegawa]

“だからV4”

[ynhl]

“たとえば多様体の概念を使う理由は、「この多様体に射映されている限り、固有値の絶対値が1を超えないということが数学的に保証され”

[mkusaka]

DeepSeek v4.1 Flashの最適化を解説。1M context対応、FP4 KVやCED、SWA Replayまで体系化する記事。

[samasan-tabasan]

読みごたえがあるなぁ part3w