気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
zenn.dev/bilzardエントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
0
記事へのコメント0件
- 注目コメント
- 新着コメント
新着コメントはまだありません。
このエントリーにコメントしてみましょう。
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LLMの推論では外れ値は重要な役割を果たす
本記事はTransformerの8bit行列演算を実装した以下の論文のまとめ記事です。推論フェーズでは4bitの量子... 本記事はTransformerの8bit行列演算を実装した以下の論文のまとめ記事です。推論フェーズでは4bitの量子化が主流の現在において、8bitの量子化手法はメリットが薄れた感がありますが、outlierとLLMの推論性能の関係についての考察とoutlierとそれ以外を分けて計算するアプローチが面白かったので取り上げました。 なお、著者らが実装したコードは現在でもbitsandbytes[6]という名前でGitHubでメンテされHuggingFaceのエコシステムに組み込まれています。本記事ではソースコードの実装箇所に関して調査した結果についてもAppendix Aに掲載しています。 paper: LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale, Nov 2022 Overview Transforme
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
zenn.dev/bilzard
zenn.dev/bilzard
zenn.dev/bilzard
zenn.dev/bilzard
anond.hatelabo.jp
note.com/yumisakekasu
note.com/sasakiii
www.c.u-tokyo.ac.jp
qiita.com/katohiro_fi
zenn.dev/shimosyan
qiita.com/tanishi0131
www.itmedia.co.jp
togetter.com
note.com/light_liger1051
github.com/grigio
qiita.com/shota0616
ran214.jugem.jp
sysy.livedoor.biz
gadget.2chblog.jp
developers.freee.co.jp
developers.freee.co.jp
tech.uzabase.com
www.softbank.jp
