x = 0近傍での正規化線形関数(青)およびソフトプラス関数(緑)のプロット 正規化線形関数(せいきかせんけいかんすう、英: Rectified linear functionあるいは単にrectifier[注釈 1]とも)は、引数の正の部分として定義される活性化関数であり、次のように表される。 上式において、 はニューロンへの入力である。これはランプ関数(傾斜路関数)としても知られ、電気工学における半波整流回路と類似している。この活性化関数は、1993年にTangらによって新しいニューロンモデルとして最初に提案され、ニューラルネットワークの学習に適用し、その有効性が示された[1]。2000年にHahnloseらによって強い生物学的動機と数学的正当化を持って、動的ネットワークへに導入された[2][3]。2011年以前に広く使われていた活性化関数、例えばロジスティックシグモイド(これは確率論
![正規化線形関数 - Wikipedia](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4749bf0520c1c20d33f5a74f7b3d5bcfccd7e68/height=288;version=1;width=512/https%3A%2F%2Fupload.wikimedia.org%2Fwikipedia%2Fcommons%2Fthumb%2F6%2F6c%2FRectifier_and_softplus_functions.svg%2F1200px-Rectifier_and_softplus_functions.svg.png)