tanh

tanh函数是一个与sigmoid激活函数比较类似的激活函数, 公式如下:

$\tanh (x)=\frac{e^{x}-e^{-x}}{e^{x}+e^{-x}}=\frac{2}{1+e^{-2 x}}-1$

从最后一项中可以看出tanh是对sigmoid函数进行拉伸, 平移操作得到的.

对应的导数表达式为:

$\tanh^{'}(x) = 1-(\tanh (x))^{2}$

相应的函数图像和导数图像为:

优点

• 类似于sigmoid函数, 梯度平滑

• 其导数的极大值为1, 相比于sigmoid函数的0.25的极大值, 梯度消失问题有所减缓

• 解决了sigmoid非zero-centered的问题, 训练时收敛的更快一些

缺点

• sigmoid的大部分缺点仍然存在

  • 计算量大(幂计算, 除法)

  • 梯度消失问题仍然没有解决