連載目次 用語解説 AI/機械学習のニューラルネットワークにおけるReLU(Rectified Linear Unit、「レルー」と読む)とは、関数への入力値が0以下の場合には出力値が常に0、入力値が0より上の場合には出力値が入力値と同じ値となる関数である。 図1に示すように、座標点(0, 0)を基点として、ランプ(ramp: 例えば高速道路に入るための上り坂などの「傾斜路」のこと)型曲線のグラフになるため、「ランプ関数」(ramp function)とも呼ばれる。 ニューラルネットワークの基礎となっている情報処理モデル「パーセプトロン」(後日解説)では「ステップ関数」という活性化関数が用いられ、「バックプロパゲーション」(後日解説)が登場してからは「シグモイド関数」が活性化関数として使われるようになった。 しかしディープニューラルネットワークでは、層が深くなるにつれ勾配が消えてしまう勾配