DeepSeek v4.1 Flashを動かしたくてFP4に対応していないA100を、33tok/sから673 tok/sまで持っていって気がつくと公式APIより速くなっていた話｜shi3z

DeepSeek v4.1 Flashを動かしたくてFP4に対応していないA100を、33tok/sから673 tok/sまで持っていって気がつくと公式APIより速くなっていた話 あらすじ結論から言うと、この24時間で僕の手元で起きたことは、僕を驚かせるのに十分なことだった。そしてこれは全く新しい時代の幕開けなのだということを感じている。午前5時に。 この文章はとても長い。この24時間に僕が経験した冒険を時系列にまとめたものだからだ。 この冒険で僕がわかったことは二つ。一つは、「もっと真剣にAIと向き合えば、普通より遥かに大きな成果を得ることができる」ということ。もう一つは、「6年前のポンコツ同然のGPUで、最新のクラウドより高性能なAIを手中にできた」ことだ。 ソースコードは公開しているので、同じ設備がある人は誰でも追試できるようになっている。 そもそも最新のDeepSeek v4.1

[kotesaki]

普段、与太オヤジだと思ってるshi3zさんが覚醒するとこういう動きするんだ〜。さすがーとオモタヨ。フロンティアとしてのクラウドモデル優位は当面続くだろうけど「AI所有できる」Local LLMは夢があるよねー。

[naka_dekoboko]

v4.1 Flash、逃がせる設計にしたうえで性能あげてくるし、たんに蒸留屋とかじゃないんだよなもう完全に先端にいる。

[endo_5501]

“実際、Claude Codeは早々に「これが限界です」とか舐めたことを抜かす。ついこないだ生まれたようなガキが。知ったふうな口を聞くな。”

[strawberryhunter]

この人をこんなにカッコいいと思ったのは初めてだ。llama.cppとかはOSSだけど、open weight以外のこういう実行環境も各社は基本的に公開していない。きっと、こういう職人芸の塊だと思う。

[rgfx]

ぐえーかっこいいいいいい(滋味がある)(ありがとうございます)／でもこの手のチューニング、向こうで北京大や精華大を出てるようなキレッキレのがやってないわけがないと思うんだけどなあ

[napsucks]

AIの表層的な答えを受け取らず、蹴りを入れるのは大事ね。ESP32の最適化でもこの辺りの違いが出てくる。なお、codex/GPT5.6 solは32bit専用RTC slow memoryに16ビットを2つパックするなど最適化提案を結構やってくれる。

[natu3kan]

ハードが旧世代になって非対応の部分をソフトで対応させたら動くって、ロマンあるし性能も良かったら満足感が高いよなあ。

[tadyjp]

これがISUCONか。。それにこのAIには出来ない書き味、いいね

[stealthinu]

たしかにFP4だと256パターンだし古いGPUでも最適化できるか。意味ないと思ってたが手持ちハードに合わせた専用推論機にカスタマイズするのよいな。

[hayeta]

「ここで大切なのは直感である。 「そんなわけあるか」と思えるかどうか。 AIの言う寝言を鵜呑みにしていたら、この先には進めない。」

[misshiki]

FP4非対応A100でDeepSeek v4.1 Flashを高速化。33tok/sから改善し、PCIe転送や2000回/tokenのCUDA起動を特定。記事冒頭では並列1000tok/s、4GPUで1467tok/sも達成。

[ys0000]

512GBが自宅にあるのが羨ましい。そして久しぶりに驚き屋ではなくエンジニアリングしてる記事だ。こういうのが読みたい訳だよ。

[kyahi227]

何やってんだこいつ。Ninferは? 二次方程式の解法を再発見したインドの少年か? A100の機能制限版CMP 170HXが出回って暴騰してるのにそれ関連の情報を調べさせないのか?

[toaruR]

活き活きしてる＼(^o^)／中古のA100を買い漁る、まで行って欲しい

[samasan-tabasan]

読みごたえがあるなぁw

[mcddx30]

https://x.com/shi3z/status/2098530231678370266

[door-s-dev]

"なにがシンギュラリティだ"おやぁ？

[cmieji]

最適化

[oosin]

自分がコーディングに使ってる経験だと、ライブラリなければこういう実装でどう？と提案してくる（結果がどうあれ）ので別世界の人かな？と思った。 真実は不明だがAIを調教してる風なのは相当脚色されてる気がする。

[fnm]

実際、Claude Codeは早々に「これが限界です」とか舐めたことを抜かす。ついこないだ生まれたようなガキが。知ったふうな口を聞くな。→つよい

[hhungry]

一口にClaude CodeゆーてもオーパスかFableかで話が変わってくる。

[kurage_lizard]

おれもClaude Codeにガキは黙ってろ！って言えるくらい理解したい。むしろ、えーそんなこともやってくれたのー？ありがとー！ってなってる。

[moke222]

驚き屋さんがんばれ

[puruhime]

この人の環境を用意できないので本文を読むのは早々に諦めた

[taruhachi]

VRAMはさほど使わない(290GBくらい)。。。。。。。。。。。

[teslur]

これがAI時代を生き残れるタイプのSWEか…

[mopx]

スクラップアンドビルドはAIの報酬にないから、作っといて、いやーなんか違うんだよなーとは言わなそう。

[kazu111]

①『クロードAIの脳みそ（ビグザム）』を②AI蒸留でパクリ256個の分業部屋で動かす『中華ディープシーク（中華ガンダム）』に、③論文と役割分担を活用した職人芸『個人AI（民間超性能ザク·ニュータイプ対応機）』が勝

[daruism]

“Claude Codeのコーディングが雑なせいだ。 あいつらは、「バグらない/バグりにくいコード」は量産できるようになったが、「効率的なコード」を量産できるようにまでは進化してない。なにがシンギュラリティだ。”強い

[MuffinBobbin]

“継之助には、なんだかんだで4000万円くらいかかっている。” 今はどうなのか知らんが、少し前なら家が建つ金額だな。

[zgmf-x20a]

記録更新中…