ついにBitNet Llama8Bが登場! CPUのみで爆速推論するLLM,BitNet.cpp｜shi3z

科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技術である。 LLMの推論には通常は巨大な浮動小数点数(8ビットから16ビット)の、大量の乗算(掛け算)が必要なため、GPUなどの特殊な半導体を必要としていた。特にNVIDIAのGPUがこの目的にマッチしていたので今

[ma-----chan]

1.585bitを1bitって呼ぶのはどうなの？大事なのは3値なところだから、TernaryNetって呼ぶほうが良さそう。なんにしても、LlamaがBitNetで動くようになって速さも確かめられたのはすごいな。

[napsucks]

清水さんはかつて派手にぶち上げたenchantMOONが大ゴケしてビッグマウスと叩かれてたけど、腐ることなく10年経っても同じテンションで今度はAIに熱量を注いでてほんとバイタリティあるな。天性のエバンジェリストだ。

[puhu208n]

いっちょ噛み屋も反々AIも出現してないブクマは驚き屋とガチ進捗の両方の可能性があるが、パラメータ数削減・量子化でGPUレス化は大きな流れではあるんじゃねえかなぁ

[kgkaaz]

一個目の質問、正解できてなくね？ "Where is Mary? Answer: She’s in a different room " 意味不なんだが

[enderuku]

驚き屋なのかマジのブレイクスルーなのか判断つかない

[Beluga]

脳のニューロンが1神経ごとに掛け算をしているとも思えないので可能性としては十分あるだろうなぁ。

[misshiki]

“Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。”

[poad1010]

この記事をおすすめしました

[Yaju3D]

バイナリ乗算がXNORに置き換え可能な理由 https://qiita.com/yaju/items/58f8bb9bef9af99db77e

[sek_165]

IntelもLLM開発頑張れよ。

[hasiduki]

“しかももちろん正解している。”！！！！！！！

[zgmf-x20a]

問題はこれでGPUの存在意義がどうなるか？

[cooking_kawasaki]

LLMは元々AWQなど重み量子化で4bitで普通に動いてはいたので、情報量的にはそんなものなのかも。演算方法が変わるのは大きいが。

[toaruR]

非常に楽しそうで羨ましい(*´д｀*)

[mopx]

人類の脳みそってもっと単純だったわ〜てへぺろ〜→CPU脳が人類に近づく→CPU脳がGPU脳に命令→人類、AIが何を喋ってるのか分からねえ→シンギュラリティ→人類殲滅ルート

[moke222]

プロの驚き屋さん。でも、情報は役に立つ

[urtz]

ざっと調べると、追試した人は推論速度大して出てないらしい。現状で優位性は不明。まあ本当なら虎の子なので、MSが易々と公開するかというと

[strawberryhunter]

GPUはPC1台分もするし、搭載できるPCが限られているのでCPUだけでできるようになると私みたいにハードウェアに積極的にお金を使わない人にも触る機会が得られるわけか。

[Xray]

enchantMoonの失敗とか関係なく技術屋ってこんなもんだよ。ある日突然冷めて別のことやりはじめたりもする

[kei_1010]

以前「話はわかった。NVIDIAを空売りする」をやった結果大損ぶっこいたので慎重にならざるを得ない。しかしまた売りたい感じになってきてるのだ。損を取り戻したいのだ。。。

[chintaro3]

2ビットなら掛け算も足し算も演算量は一緒か。これは筋が良いかも

[collectedseptember]

windowsだとcopilot pcなどと呼んで高いマシンを売ろうという動きは見られるが影響ある？

[FEMRIK]

BitNetよく知らんから勉強してみるか。nvidiaの株下がるかな

[qpci32siekqd]

それでもHyperAccelの LLM用 Latency Processing Unit (LPU)とかのがいいと思うが。Transformerそのまんまやし。もうANNは生物由来のニューロンとは別やろし。

[zsehnuy_cohriy]

こんくらいまでコンパクトになるとだいぶ話変わってくる感はある

[buriedarmy]

GDDRやHBMに比べてDDR5は帯域が1桁違うんだけど、この程度の大きさのモデルなら推論速度にあまり差がないように見える。一般的な利用はこちらに流れるのかなあ。

[san57]

某都知事候補もAGIは10年以内に実現の可能性ありと言っているがここからその可能性が現実的にあるのだと本当に言えるのか…？

[natumeuashi]

仮想通貨にaiと散々ゲーマーに砂かけてきた革ジャンが古巣に媚び出す日も近いか？

[tanakakazu]

NVIDIA株売った(嘘、もってない

[uva]

MatMul-freeな単純な演算の並列実行にだけ特化したハードウェアがでてくるとNVIDIAの天下も終わりかも