驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
なぜ三角関数擁護派は三角関数の実用例をすぐに思いつかないのか｜shi3z
昨日は月に一度のラジオのレギュラー放送で、テーマは「シン・ウルトラマンと量子力学と三角関数」だった。 シン・ウルトラマンはシン・ゴジラよりも現代物理学の用語が散りばめられていて、メジャーなフィクションの世界に初めてモダンな宇宙論が導入された作品として意義深い。 ネタバレになるので詳しくは語らないが、既に公開されている情報としては、Hey!Say!JUMPの有岡くん扮する滝くんの職業は「非粒子物理学者」であるとされる。 非粒子物理学は、2007年に生まれた非常に新しい理論物理学の一つで、なぜ「シン・ウルトラマン」の禍特対に非粒子物理学者がいるのかといえば、非粒子物理学が扱う対象が、質量がほぼゼロであり、扱う対象の大きさ(スケール)を変えても性質が変化しない物質がありうるだろうという予測から生まれている。まだそのような非粒子は発見されていないが、「スケールを変えても性質が変化しない非粒子の予測
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
俺はソフトバンクの社員だったことはありません｜shi3z