k-WTAは敵対的摂動に対して頑健である。その実験 - Qiita

概要 Enhancing Adversarial Defense by k-Winners-Take-All k-WTAは入力ベクトルの中で、上位k個の大きい数値のみをそのまま残し、それ以外を0にするという活性化関数。k-WTAは入力に対して不連続であるため、ネットワークを騙す摂動が計算しにくい。また、パラメータ空間においては、不連続性が小さいため、ネットワークの学習は従来通り可能。 背景 DNNは敵対的摂動と呼ばれる小さなノイズによって簡単に騙されることがわかっています。 DNNの社会応用のためには、このような攻撃からDNNを防御する必要があります。 提案手法 提案手法は非常にシンプルで、k-WTAという活性化関数をDNNに組み込むことです。 k-WTAは入力ベクトルの中で、上位k個の大きい数値のみをそのまま残し、それ以外を0にするという活性化関数です。どれだけの数を残すかを表すパラメー