Sigmoid

シグモイド関数(Sigmoid function)は $f\left(x\right)=\frac{1}{1+e^{-ax}}(a>0)$ の形をしている関数です。下の図で表しています。 値は(0, 1)の間にあるので、よく確率として使われています。例えば 0.7だったら70%の確率という意味をします。 ニューラルネットワークの中で、シグモイド関数はよくTrue/Falseの判定に使われています。例えば画像が猫なのか、猫じゃないなのかを判断する場合、0.7だったら、猫であると判定します。 このようなニューラルネットワークを実装する際に逆伝播(Back propagation)を実装する必要になります。その中の一部として、シグモイド関数の微分を求めることになります。 シグモイド関数の微分は 下の形をしています。これを方程式を使えば、Numpyでかなり簡単に実装できるようなります。 $$f\left(x\right)=\frac{1}{1+e^{-ax}}(a>0)f(x{)}^{\prime }=af(x\left)\right(1-f\left(x\right))$$ 上の方程式を導いてみると $$(\frac{1}{1+e^{-ax}}{)}^{\prime }=\frac{-1}{(1+e^{-ax}{)}^2}(1+e^{-ax})=\frac{-1}{(1+e^{-ax}{)}^2}(e^{-ax}\left)\right(-ax{)}^{\prime }=\frac{-1}{(1+e^{-ax}{)}^2}\left(e^{-ax}\right)(-a)=\frac{a{e}^{-ax}}{(1+e^{-ax}{)}^2}=\frac{a}{(1+e^{-ax})}\frac{e^{-ax}}{(1+e^{-ax})}=\frac{a}{(1+e^{-ax})}\frac{1+e^{-ax}-1}{(1+e^{-ax})}=af\left(x\right)(1-f(x\left)\right)$$ $a=1$の時に $f(x{)}^{\prime }=f(x\left)\right(1-f\left(x\right))$　になります。