1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
Green500連覇への道のり｜情報処理学会・学会誌「情報処理」
安達知也（（株）Preferred Networks） Green500の概要 Green500は，バージニア工科大学のFeng教授を中心とするグループによってメンテナンスされている，スーパーコンピュータのエネルギー効率のランキングである．関連するランキングとしてTOP500がある．TOP500はLU分解で連立一次方程式を解くLINPACKベンチマークの実行速度を用いて1秒あたりの倍精度浮動小数点演算回数（FLOPS）を競うランキングであり，近年では富岳が4期連続で1位を獲得している．Green500は，TOP500にランクインした上位500システムのスーパーコンピュータを対象に，FLOPS値をベンチマーク実行中の平均電力で割った値，いわば電力あたりの演算性能を指標とするランキングである．筆者らは，2020年6月，2021年6月，2021年11月の3回のGreen500で1位を獲得した．
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
