[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita1. はじめに 前回に引き続きPyTorchを用いたarXiv実装の2回目になります。今回紹介する論文はVISUALIZING THE LOSS LANDSCAPE OF NEURAL NETSになります。 扱う内容は前回と同じニューラルネットの可視化です。ただし前回は中間層の可視化でしたが、今回は出力層の可視化です。本論文ではディープラーニングのロス関数を可視化する手法を提案しています。 ディープラーニングの学習においては、SGDやAdaGradなどのアルゴリズムを用いてロス関数を最小とするパラメータの探索を行います。凸関数は局所最適化を繰り返すことで大域的最適解が得られますが、非凸関数ではその保障はありません（参照ページ）。そしてディープラーニングのロス関数は一般に凸関数とは限らないため、学習により適切なパラメータが求まる保障はありません。 しかし、適切なバッチサイズ・フィルタサイズを
![[論文実装_その2] ディープラーニングのネットワークモデルを3次元で可視化してみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2313492a6bbdbd97838c1b264877c9f8d8e2c90/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUU1JUFFJTlGJUU4JUEzJTg1XyVFMyU4MSU5RCVFMyU4MSVBRTIlNUQlMjAlRTMlODMlODclRTMlODIlQTMlRTMlODMlQkMlRTMlODMlOTclRTMlODMlQTklRTMlODMlQkMlRTMlODMlOEIlRTMlODMlQjMlRTMlODIlQjAlRTMlODElQUUlRTMlODMlOEQlRTMlODMlODMlRTMlODMlODglRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlRTMlODMlQTIlRTMlODMlODclRTMlODMlQUIlRTMlODIlOTIzJUU2JUFDJUExJUU1JTg1JTgzJUUzJTgxJUE3JUU1JThGJUFGJUU4JUE2JTk2JUU1JThDJTk2JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz03Y2ZmYTkwZTMxNjM5YjcyMmUwOWI5YmVmNzc0ZGQwNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBva24teXUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWM3MDEwNTdhMTAyMjkwZGIzOTYyMTg5OGNkMWJiMDY4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D7a86248c9314d605ec14a204441265d8)
