1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」

徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ

[puhu208n]

何でも来るのか来ないのかと1bitで考えるのは良くない(※ネタ)

[poad1010]

この記事をおすすめしました

[misshiki]

1bit LLMという新しい技術の可能性を示唆している一方で、まだ多くの課題があることを示しているという普通な展開みたいですが、記事タイトルの書き方ならどっちか明示してほしかった。

[sh19910711]

"画像処理の分野: 小規模なデータセット以外で，このような精度の逆転現象が見られたという報告を見たことがありません / b1.58論文の主張: 700Mモデルや1.3Bモデルでは精度の逆転は起きず，3Bモデルでは逆転が見られた"

[prozorec]

電力効率を云々するなら実際に測った値の方が説得力があるが、論文の値はあくまでも机上なのか

[hinonono]

1-bitじゃなく1-tritじゃん？まあ元の論文が悪いんだけどさ

[urtz]

“5.5倍程度が期待できる電力効率向上の上限になります”

[aox]

0.1bitでやりましょう