はてなブックマーク

概要 機械学習アルゴリズムで頻繁に利用されるsigmoid関数だが、Pythonで実現しようとすると複数の方法が存在します。そこで、いくつかの実装の中でどれが一番速いのかを調べてみました。 方法 思いついた以下の方法について、sigmoidかけた値を算出して比較します。ただし、4と5に関しては使えるシーンが限定されている方法です。 scipy.special.expitを呼ぶ (シンプルで良く使われている印象) 定義 $\frac{1}{1 + exp(-x)}$ 通り計算 tanhを使って $0.5 \cdot \tanh(0.5 \cdot x) + 0.5$ で計算 与えられる値のrangeが決まっている場合、事前に計算しておき配列で保存 0付近の値が与えられない場合、$\frac{x}{1 + |x|}$ で算出 実装 import numpy as np from scipy.s