ランプ関数のグラフ ランプ関数（英: ramp function）とは、一変数の実関数であり、独立変数とその絶対値の平均として容易に求められる。区分線形関数。 この関数は工学において（DSPの理論など）応用を持つ。"ramp function"の名は、グラフの形状が傾斜路（英: ramp）に似ていることに由来する。
ランプ関数 - Wikipedia
ランプ関数のグラフ ランプ関数（英: ramp function）とは、一変数の実関数であり、独立変数とその絶対値の平均として容易に求められる。区分線形関数。 この関数は工学において（DSPの理論など）応用を持つ。"ramp function"の名は、グラフの形状が傾斜路（英: ramp）に似ていることに由来する。
［活性化関数］ReLU（Rectified Linear Unit）／ランプ関数とは？
連載目次 用語解説 AI／機械学習のニューラルネットワークにおけるReLU（Rectified Linear Unit、「レルー」と読む）とは、関数への入力値が0以下の場合には出力値が常に0、入力値が0より上の場合には出力値が入力値と同じ値となる関数である。 図1に示すように、座標点(0, 0)を基点として、ランプ（ramp： 例えば高速道路に入るための上り坂などの「傾斜路」のこと）型曲線のグラフになるため、「ランプ関数」（ramp function）とも呼ばれる。 ニューラルネットワークの基礎となっている情報処理モデル「パーセプトロン」（後日解説）では「ステップ関数」という活性化関数が用いられ、「バックプロパゲーション」（後日解説）が登場してからは「シグモイド関数」が活性化関数として使われるようになった。 しかしディープニューラルネットワークでは、層が深くなるにつれ勾配が消えてしまう勾配
正規化線形関数 - Wikipedia
x = 0近傍での正規化線形関数（青）およびソフトプラス関数（緑）のプロット 正規化線形関数（せいきかせんけいかんすう、英: Rectified linear functionあるいは単にrectifier[注釈 1]とも）は、引数の正の部分として定義される活性化関数であり、次のように表される。 上式において、 はニューロンへの入力である。これはランプ関数（傾斜路関数）としても知られ、電気工学における半波整流回路と類似している。この活性化関数は、1993年にTangらによって新しいニューロンモデルとして最初に提案され、ニューラルネットワークの学習に適用し、その有効性が示された[1]。2000年にHahnloseらによって強い生物学的動機と数学的正当化を持って、動的ネットワークへに導入された[2][3]。2011年以前に広く使われていた活性化関数、例えばロジスティックシグモイド（これは確率論
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
