tanh
tanh 函数是机器学习常用的一种激活函数，公式如下： \[ f(x) = \frac{e^x-e^{-x}}{e^x+e^{-x}} \] tanh 的函数取值为(-1,1)，相比sigmoid的是(0,1). 两函数的图形形状类似。
求导
根据乘法法则，可知 \[ (uv)^{\prime} = u^{\prime}v + uv^{\prime} \]
所以对于\(tanh(x)\)
\[\begin{equation} \begin{aligned} tanh(x)^{\prime} &= \frac{d}{dx}(\frac{e^x-e^{-x}}{e^x+e{-x}}) \\ &= \frac{1}{e^x+e^{-x}}\frac{d}{dx}(e^x-e^{-x}) + (e^x-e^{-x})\frac{d}{dx}(\frac{1}{e^x+e^{-x}}) \\ &= \frac{e^x+e^{-x}}{e^x+e^{-x}} + (e^x-e^{-x})\frac{1}{(e^x+e^{-x})^2}(-1)(e^x-e^{-x}) \\ &= 1 - (\frac{e^x-e^{-x}}{e^x+e^{-x}})^2\\ &= 1 - (tanh(x))^2 \end{aligned} \end{equation}\]