107
3.4.2常见的激活函数及图像
1、sigmoid 激活函数
函数的定义为: xexf 1
1
,其值域为(0,1)。
函数图像如下:
2、tanh 激活函数
函数的定义为: xx
xx
ee
eexxf
tanh ,值域为(-1,1)。
函数图像如下:
3、Relu 激活函数
函数的定义为: xxf ,0max ,值域为[0,+∞)。
函数图像如下:
108
4、Leak Relu 激活函数
函数定义为:
0,
0,
xx
xx
xf
,值域为(-∞,+∞)。
图像如下( 5.0 ):
5、SoftPlus 激活函数
函数的定义为: xexf 1ln ,值域为(0,+∞) 。
函数图像如下:
想要获取更多机器学习、深度学习、
自然语言处理、计算机视觉相关资
料,添加解惑者 Jews 老师微信:
Jews_nlp 更有顶尖论文、项目经验以
及面试经验分享,干货多多,不容错
过!!!
109
6、softmax 函数
函数定义为:
K
k
z
z
j
k
j
e
ez
1
。
Softmax 多用于多分类神经网络输出。
3.4.3 常见激活函数的导数计算?
对常见激活函数,导数计算如下:
原函数 函数表达式 导数 备注
Sigmoid
激活函数
xexf 1
1
xfxf
ee
xf xx
1
1
11
1
1
当 10x ,
或 10x 时
0 xf
当 0x ,
25.0 xf
Tanh
激活函数
xx
xx
ee
ee
xxf
tanh
2tanh1 xxf
当 10x ,
或 10x 时
0 xf
当 0x ,
1 xf
110
Relu
激活函
函数/激活/x/定义/图像/值域/10/xxf/导数/常见/
函数/激活/x/定义/图像/值域/10/xxf/导数/常见/
-->