昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

ナガラメ/適職無職パンマン @nanimonai_des 新卒で入った会社、毎日日報書かされてたの懐かしくて笑えてきた ト◯タかなんかの真似らしいんだけど、泥臭い小さい中小が少人数で日報書いても何も生まれないだろうがよ🥹 書き忘れるとめちゃめちゃ怒られるし無駄な仕事すぎて笑えるわ 2024-02-27 13:31:08