高速な深層学習モデルアーキテクチャ2023

深層学習モデル（畳み込みニューラルネットワーク; CNN、Vision Transformer; ViT）の高速化手法のまとめ より詳細な資料は下記 CNN: https://speakerdeck.com/yu4u/moteruakitekutiyaguan-dian-karanogao-su-hua-2019 Vision Transformer: https://speakerdeck.com/yu4u/jin-nian-nohierarchical-vision-transformer

[misshiki]

全50ページのスライド資料。

[Xray]

真面目な話をすると、計算量が少ないからと言って実装が良いわけではないので、ゴリゴリに最適化されたResBlockで押し通した方が速いことが多い気がする。

[stealthinu]

モバイル用での高速化などをふまえたモデルの高速化手法。CNN使った軽くなるモデルを基本として蒸留、量子化と。あとやっぱReLUだと軽いとか。今回の資料もすごく参考になった。yu4uさん。