エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
加算も乗算も使わない行列積の100倍高速な近似計算手法(Maddness)を自分で再実装して検証する!!!
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
加算も乗算も使わない行列積の100倍高速な近似計算手法(Maddness)を自分で再実装して検証する!!!
加算も乗算も使わない行列積の100倍高速な近似計算手法(Maddness)を自分で再実装して検証する!!! Int... 加算も乗算も使わない行列積の100倍高速な近似計算手法(Maddness)を自分で再実装して検証する!!! Introduction 行列積という演算が機械学習/深層学習モデルの学習, 推論の計算に占める割合は非常に大きい。 昔僕が興味本位でやってみた実験なのだが、適当なTransformerの実装を持ってきてScaleDotProductAttentionというクラスの順伝播に含まれるmatmulというコードを消してみるだけで順伝播の計算量は90%削減できる。当然このモデルの出力は単語間の文脈が失われた意味のないものになるのだが、それだけに深層学習モデルに含まれる行列積の計算は重たい。 自宅のPCで深層学習を動かしていると真っ先にメモリ不足や性能不足といった問題に直面すると思う。ここで後者の性能不足という問題には、計算の大部分を占める行列積の近似計算をする(Approximate Mul