[参考]ゼロから作るDeep Learning 活性化関数とは 活性化関数は、入力信号の総和がどのように活性化するかを決定する役割を持ちます。これは、次の層に渡す値を整えるような役割をします。 一般的に、 「単純パーセプトロン」の活性化関数では、「ステップ関数」などが使われ、 「多層パーセプトロン（ニューラルネットワーク）」の活性化関数では、「シグモイド関数、ソフトマックス関数」や恒等関数が使われます。 また、これら「ステップ関数、シグモイド関数、ソフトマックス関数」を非線形関数と呼ぶのに対し、「y=cx」のような関数を線形関数と呼びます。 一般的に、ニューラルネットワークでは線形関数は使われません。この理由は、「なぜ多層パーセプトロンで線形関数を使わないのか？」で説明します。 一般的に、ソフトマックス関数と恒等関数は出力層で使われます。 ステップ関数 ステップ関数は、閾値を境にして出力が