タグ

activation-functionとartificial-neural-networkに関するnabinnoのブックマーク (1)

  • 正規化線形関数 - Wikipedia

    x = 0近傍での正規化線形関数(青)およびソフトプラス関数(緑)のプロット 正規化線形関数(せいきかせんけいかんすう、英: Rectified linear functionあるいは単にrectifier[注釈 1]とも)は、引数の正の部分として定義される活性化関数であり、次のように表される。 上式において、 はニューロンへの入力である。これはランプ関数(傾斜路関数)としても知られ、電気工学における半波整流回路と類似している。この活性化関数は、1993年にTangらによって新しいニューロンモデルとして最初に提案され、ニューラルネットワークの学習に適用し、その有効性が示された[1]。2000年にHahnloseらによって強い生物学的動機と数学的正当化を持って、動的ネットワークへに導入された[2][3]。2011年以前に広く使われていた活性化関数、例えばロジスティックシグモイド(これは確率論

    正規化線形関数 - Wikipedia
  • 1