(左)手書き数字画像10クラスの「MNIST」という画像データセットにおいて、4層の全結合ネットワークを用いた実験の結果。コンパクト化なしのネットワークから認識精度0.02%の低下で、パラメータ数を83.7%削減可能であることを確認した。(右)一般物体認識のベンチマークとしてよく使われている「CIFAR-10」という画像データセットにおいて、16層の畳み込みニューラルネットワークを用いた実験の結果。認識精度の低下が約1%以内の範囲では、正則化強度を変更することでネットワークのパラメータ数を30~70%程度削減でき、DNNのサイズを柔軟に変更できることを確認した(クリックで拡大) 出典:東芝 スパース化現象が起こる学習条件は3つある。1つ目は、DNNの表現力を高めるために一般的に導入される非線形関数ReLU(Rectified linear unit)を活性化関数として用いる場合だ。2つ目は