ニューラルネットの活性化関数 その2
記事「ニューラルネットの活性化関数 その1」の閲覧数がそこそこあるので、近年の活性化関数も記しておきます。 (1) Rectified linear unit (ReLU) (2) Maxout activation functions (Maxout) 以下、簡単に解説しますが、不正確な表現も含みますので、正確な解釈は論文を読んでください。 (1) Rectified linear unit (ReLU) について 活性化関数は、 f(x) = max(0, x) で、x > 0 の時は f(x) = x、x <= 0 の時は f(x) = 0 となります。 導関数は、 x > 0 の時は f'(x) = 1 です。x <= 0 の時は f'(x) = 0 となるので、結合荷重は変化しません。 こんな簡単な活性化関数で大丈夫なのかと思われるかもしれませんが、隠れ層のユニットの数がそこそこ
ニューラルネットの活性化関数 その1
ニューラルネットの活性化関数 (activation function) としては次のようなものがある。 標準シグモイド関数 (standard sigmoid function): y = 1 / (1 + exp(-x)) 【グラフ】 双曲線正接関数: y = tanh(x) 【グラフ】 abs を使った関数: y = x / (1 + abs(x)) 【グラフ】 それぞれの導関数 (derivative) は次のとおり。 y * (1 - y) 1 - y * y 1 / pow(1 + abs(x), 2) または pow(1 - abs(y), 2) 上記の活性化関数とその導関数は次の論文から引用した。 A Better Activation Function for Artificial Neural Networks, David Elliott, 1993 http://d
Softplus関数
今日、Caffeというナウいニューラルネット実装を読んでいたら次の行で？？？となりました。 https://github.com/BVLC/caffe/blob/v0.9/src/caffe/layers/bnll_layer.cu#L20 数式で書くと（logは自然対数） \[f(x)=\begin{cases} x+\log(1+e^{-x}) & \text{if}\,x > 0, \\ \log(1+e^x) & \text{otherwise}. \end{cases}\] もっとオシャレに書くと \[f(x)=\max(0, x)+\log(1+e^{-\vert x\vert}).\] これが数値計算的なテクニックなのか、近似も含んでるのか、僕が知らないactivation関数なのかパッと見判断つかなかったのですが、微分してみたら両方シグモイド関数になりました（で、よく見たら
【連載第1回】ニューラルネットの歩んだ道、ディープラーニングの登場で全てが変わった - 日経BigData
ディープラーニングのビジネスへの活用の可能性を探る。初回はディープラーニングの登場がどんな意味で大事件だったのかを解説する。 機械学習、ニューラルネット、ディープラーニングといった言葉の意味を整理することから始めよう。機械学習は人工知能の一分野で、データの背景にある傾向や法則を探り、現象の解析や予測をすることを目標としている。人間がルールを明示的に与えるのではなく、データから機械自身に法則を学習させるのが特徴だ。ルールで記述しきれない複雑な現象や、季節や時間などで傾向が変わる現象の解析に強みを発揮する。 ニューラルネットは機械学習で扱われる計算アルゴリズムの1つである。脳を模倣したモデルで、入力層、隠れ層、出力層の3種類の層から成る。入力に対して単純な変換を何回も繰り返し、予測結果などを出力する構造をしている。 深い構造、すなわち隠れ層を何層も重ねる構造がニューラルネットの精度向上の鍵とな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLをチューニング、そしてスケールアップ／スケールアウトへ 記事一覧 | gihyo.jp
