Adversarial Attackされた画像にGrad-CAMで異変に気付けるか実装しながら試してみる - Qiita

はじめに Adversarial Attackをご存知でしょうか？日本語で敵対的攻撃ですかね。 以下のパンダがテナガザルに誤判定される例は有名かと思います。人間には分からない微小なノイズを画像に重ねることでAIを誤判定させています。 引用元：EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES こういったAIに対する攻撃を応用すると、例えば自動運転AIに対し、道路標識を誤認識させて、止まらないといけないところで直進させる、なんてこともできてしまうかもしれません。 上図の右側のようにAIに誤判定させるような画像のことをAdversarial Exampleとかいったりして、Adversarial Exampleの作り方も、上図のように微小なノイズ（Adversarial Exampleの文脈ではよく摂動と言われます）を加えたり、画像の一部を意図的に欠損