1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も

1ビットLLMの衝撃! 70Bで8.9倍高速 全ての推論を加算のみで!GPU不要になる可能性も 2024.02.28 Updated by Ryo Shimizu on February 28, 2024, 16:46 pm JST 2月は中国では春節というお正月があり、春節にはみんな休む。 それもあってか、12月から1月にかけて怒涛の論文発表が行われて毎日「デイリーAIニュース」を配信している筆者は忙殺されていた。 春節中にはOpenAIがSoraを、GoogleがGemini1.5を発表したのは、その合間を縫ってのことだった。もはやAI最前線の戦いは研究が行われる場所の文化や風土に影響を受けるところまで来ている。 そして春節もあけた今週、さっそくAlibabaがとんでもないトーキングヘッドモデルを引っ提げて登場したかと思えば、Microsoftの中国チームがとてつもないLLMをリリース

[kamenoseiji]

電波干渉計が通ってきた道を逆走していて面白い。https://kamenoseiji.hatenadiary.org/entry/20121214/1355479077

[punychan]

log_2 3 = 1.5849... ビットだから BitNet b1.58 か。これでも1-bit LLMと呼ぶのね。FPGA実装にめっちゃ向きそう。

[napsucks]

ちょっと前までは実は4ビットでも行けるから32ビットに8つパックできる演算器があると便利だねという話で驚かされたがまさか1ビットで行けるとは。効率よく32倍速で捌ける演算器がないのがネックなのは変わらずか。

[macro1597]

筆頭著者を含む3人ほどはRetNetやLongNetにも名を連ねてるのスゴいな。

[RySa]

CPUにしろGPUにしろ大規模なMLに使うには非効率なので形を変えていくか新しいフォームファクタを作って行った方が良い。MLは数学演算をしてるようで数学要素は重要でも無いし。

[aike]

これまでのGPUに代わる「加算処理のみに特化した新しいハードウェア」の需要が予想されてるので、性能向上の頭打ちに悩むGPUメーカーにとってはたぶんグッドニュース。

[uunfo]

たしかに行列なら1bitでいい気もする

[atsushifx]

LLMの演算を、それまでの積算から加算のみに置き換えるというLLMモデル。性能は現状のLLMよりも高速でpplも低く、より高性能だとしている。https://github.com/kyegomez/BitNet にてBitNetTransformerの使い方を公開

[sh2]

上手くいけばスマホやPCでできる推論がかなり良くなる

[shimokiyo]

これ見てNVIDIAの空売りを推奨する商材屋が出てきそう。

[konekonekoneko]

これベクトルプロセッサが最強になるんじゃ？

[georgew]

なるほど重み行列を{-1, 0, 1}の3値に置換するということか。1.58bits = log2(3) ってことね。

[golotan]

転がってるコードを流し見した限りだと学習時もforward時は重み量子化してるけど、元の重み自体は保持してbackward時は流石に浮動小数点数の積和演算してるように見える。推論は爆速化するけど学習はそこまでという感じ？

[poad1010]

この記事をおすすめしました

[shodai]

“「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている。”

[Nean]

MSの中国チーム

[gurukuchi]

中国だから話半分で聞いとく

[osugi3y]

この技術が実用段階になったらNVIDIA涙目やん。

[medihen]

"この論文では「積和演算に最適化されたGPUではなく、加算処理のみに特化した新しいハードウェアの出現」までもが予言されている"

[yamada_k]

間違って DSD が流行らないかな。

[etah]

Bitじゃなくて Tritって書いたほうが皆に通じるような？ https://eow.alc.co.jp/search?q=trit これなら加算だけでいけるからもう新しいハードウェア作ろうぜ！って書いてあるの野心的でおもろい

[misshiki]

“満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。”

[Iridium]

データの持ち方変えたら速度爆上がりって認識でいいのかな。計算負荷が下がるから？そんなことある？そもそもオレが何も理解していない。

[secseek]

GPUはかなりのネックでしたし本来の用途であるはずのゲームがないがしろにされてる感もあったので、なくてもいいんなら朗報ですね

[pwatermark]

加算特化のプロセスユニットが求められる、ってマジかｗ なんかもっと裏技チックな手法がありそうな気がするな

[nanakoso]

-1, 0, 1 の三値論理なのか https://ja.wiki5.ru/wiki/Ternary_computer

[t_43z]

1bitといいつつ3値だけど、log(2)3=1.58...だからfloorして1bitってことね。この流れは気になってる。エッジ推論はこれになっていきそう。

[Y_Mokko]

4bitLLMの時点で予言されていたわけだけど来るの早いなー

[strawberryhunter]

CPUで実行できるようになると適したGPUが無いからと避けてきた私なんかもやらないといけないフェーズになるんだろうか。

[tan1]

1ビットではないのでは。だから1.58とわざわざ書いてるわけで。書いてある通りの素晴らしい結果なら、(-1,0,1)を表す"bit"に対して違う名前が与えられそう。titだと下ネタに通ずるから微妙か…

[mumei-0]

“しかし、1ビット、つまり、行列の中身が0か1しかないのであれば、全ての計算を加算演算のみにできる。”

[murasuke]

３値あるから、1bitと呼んでよいのか？ハードウェア的に2bitだと微妙だから、PAM3みたいに3値でそのまま演算して、保存するハード生まれそう。

[aceraceae]

1bit audio DSD みたいな発想なのかな。

[nakamura-kenichi]

まーたパラダイムシフトかｗ。最近気軽にエグいの出てき過ぎやなｗ。しかし今時で加算のみとかどうなってまうんやろなあ。そしてそれは「なにPU」になるんやろかｗ。

[ucue]

よくわからんけど、ビットコインの電力食い問題もこれでなんとかならんの。

[zoidstown]

“1ビット、つまり行列の中身が0か1しかないのであれば全ての計算を加算演算のみにできる。 加算と乗算では計算速度も負荷も段違いに異なるためこれだけのスピードの差が出ている。また、当然ながらメモリ効率も高い

[businessart]

作ることを考えると「bit数が多い方が決まってるけど、そこはメモリとの兼ね合い」とか考えて設計するからねえ。

[nakag0711]

あーそーゆーことね、完全に理解した(わかってない／大体1nat=1.44bitなので1ナットLLMと呼ぼう…いや納豆LLMのほうがキャッチーかと思われる

[morita_non]

何が書いてあるか全然分からない。。。。

[NOV1975]

なんかこう、A/Dコンバータを思い出すな