驚異の1ビットLLMを試す。果たして本当に学習できるのか?｜shi3z
昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装
Microsoftがバッテリー内のリチウムの約70％を置き換えられる材料をわずか数日で発見、Azure Quantum Elementsを使ったシミュレーションとAIモデルで実行
リチウムイオン電池は、現代社会でスマートフォンや電気自動車などに広く使用される一方で、破裂や火災につながる危険性が指摘されています。2024年1月9日にMicrosoftとパシフィック・ノースウエスト国立研究所(PNNL)は共同で、既存のリチウムイオン電池よりも破裂しにくい可能性のある新たな固体電解質を用いたバッテリー材料を発見したことを発表しました。今回の発見には、Microsoftの量子コンピューティングサービス「Azure Quantum Elements」が用いられました。 Discoveries in weeks, not years: How AI and high-performance computing are speeding up scientific discovery - Source https://news.microsoft.com/source/featu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
