活性化関数を並べて見える化 - Qiita

(追記) コードの解説を追記しました。 かつて初心者だった自分。独学ながらもなんとか理解してきました。 始めたばかりの頃に、こうやって聞きたかったなぁと思った解説を追記しました。この記事はおそらく初級、中級の方に読んでいただけるのかと思います。独学だと最初は難しくて、理解が進まず、挫折しそうなこともありました。そんな時に少しでも助けになれるようにと書いてみました。 1. はじめに 深層学習において活性化関数が提案され、今も研究が進められています。それぞれの並べて表示してみました。専らReLUを使うことが多いのですが、そういえばと思った時に意外と正確に覚えられていないと思い、一覧表示してみました。 2. 並べてみる Jupyter Notebookを使って、実装しました。各活性化関数を並べて表示することができます。 %matplotlib inline # モジュールのインポート impor