［活性化関数］ReLU（Rectified Linear Unit）／ランプ関数とは？連載目次 用語解説 AI／機械学習のニューラルネットワークにおけるReLU（Rectified Linear Unit、「レルー」と読む）とは、関数への入力値が0以下の場合には出力値が常に0、入力値が0より上の場合には出力値が入力値と同じ値となる関数である。 図1に示すように、座標点(0, 0)を基点として、ランプ（ramp： 例えば高速道路に入るための上り坂などの「傾斜路」のこと）型曲線のグラフになるため、「ランプ関数」（ramp function）とも呼ばれる。 ニューラルネットワークの基礎となっている情報処理モデル「パーセプトロン」（後日解説）では「ステップ関数」という活性化関数が用いられ、「バックプロパゲーション」（後日解説）が登場してからは「シグモイド関数」が活性化関数として使われるようになった。 しかしディープニューラルネットワークでは、層が深くなるにつれ勾配が消えてしまう勾配
