NNの予測根拠可視化をライブラリ化する - Qiita

左から：VGG16 による分類予測の根拠可視化、MLPによる iris データセットのFeature importance(もどき)の計算、Graph Convolution モデルによる水溶度の寄与可視化。 概要 「Deep Neural Networkはブラックボックス、中で何が行われて出力が出たのか知ることはできない」と思っていませんか？ 実際、多くの層からなるNNは複雑で数学的解析は難しいですが、全くわからないというわけではなく、上記のように予測根拠を可視化することによってモデルのデバッグや新たな知見の導出を試みようという研究があります。 今回、このSaliency mapの計算手法のいくつかを実装し、その可視化機能がChainer Chemistry でマージされましたので紹介します。 本記事少し長くなってしまいましたが、最後まで読んでいただければこのような可視化ができるようにな