CNNの精度向上手法のモデルサイズによる効果の違いを調べてみた - 終末 A.I.

画像認識タスクはDeep Learningにより大幅に精度が向上してきた分野です。 1クラス500枚・100クラスの分類を行う必要がある、比較的難易度が高めのCIFAR-100ベンチマークでも、最新の手法であるGPipeやEfficientNetでは、テストセットにて90%を超えるAccuracyを達成しています。 paperswithcode.com しかし、これらの最高精度を叩き出すような手法はパラメーター数が600Mや、60Mと大量のパラメーターが必要になります。 このように、パラメーター数が多いモデルは、精度を向上させやすい分、推論や学習にパラメーター数に応じた時間が必要な問題があります。 一方で、多くのモデル構造では、パラメーター数が数Mにいくかいかないかの、より小さいモデルを構築することができます。 このようなモデルは、深いモデルに比べ精度面では劣るものの、処理速度は圧倒的に高

[KSKSKSKS2]

パラメーター数が少ないモデルでも、精度向上手法が役に立つものなのかについて、ResNet×cifar-100を使って試してみた記事です