深層学習AIをエッジで動かす、東芝と理研がスパース化現象でパラメータ8割削減 - MONOist（モノイスト）

（左）手書き数字画像10クラスの「MNIST」という画像データセットにおいて、4層の全結合ネットワークを用いた実験の結果。コンパクト化なしのネットワークから認識精度0.02％の低下で、パラメータ数を83.7％削減可能であることを確認した。（右）一般物体認識のベンチマークとしてよく使われている「CIFAR-10」という画像データセットにおいて、16層の畳み込みニューラルネットワークを用いた実験の結果。認識精度の低下が約1％以内の範囲では、正則化強度を変更することでネットワークのパラメータ数を30～70％程度削減でき、DNNのサイズを柔軟に変更できることを確認した（クリックで拡大） 出典：東芝 スパース化現象が起こる学習条件は3つある。1つ目は、DNNの表現力を高めるために一般的に導入される非線形関数ReLU（Rectified linear unit）を活性化関数として用いる場合だ。2つ目は

[p_tan]

L1じゃなくてL2正則化でもスパースになるってところが新しい発見なのかな？