驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
岸田首相、衆院政倫審出席の舞台裏 捨て身覚悟で局面打開 動かぬ安倍派に「俺の怒りだ」
岸田文雄首相（自民党総裁）が、党派閥のパーティー収入不記載事件を巡る衆院政治倫理審査会に自ら出向くことを決断したのは、出席者の調整や開催形式が一向に折り合わない膠着（こうちゃく）状態を打開するためだ。首相は政治不信の根源でありながら説明責任に後ろ向きな安倍派（清和政策研究会）幹部らの姿勢に業を煮やしてきたが、捨て身の覚悟で政倫審への出席を強く促した形だ。 「政倫審が与野党の駆け引きで動かなくなっていることは国民にとって良いことではない。何とか状況を打開したい」 ２８日朝、首相は与党幹部の電話を次々と鳴らし、自ら政倫審に出席する意向を伝えた。 首相は当初から、安倍派幹部らが公開の場で説明責任を果たすよう期待していた。ただ、政倫審への出席や公開は議員自身の意向が尊重されるため、自発的な判断を暗に促すにとどめてきた。２６日の衆院予算委員会では「完全な非公開は歴史の中でも１件しかない」と答弁し、周
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
