深度学习500问-第三章 深度学习基础 - 下.pdf

立即下载 作者: 樱花弄๑•ั็•็
上传时间: 2024-08-22
关键词: 函数 激活 x 定义 图像 值域 10 xxf 导数 常见
大小 1 MB
描述
107
3.4.2常见的激活函数及图像
1、sigmoid 激活函数
函数的定义为：   xexf  1
1
，其值域为(0,1)。
函数图像如下：
2、tanh 激活函数
函数的定义为:     xx
xx
ee
eexxf 



 tanh ，值域为(-1,1)。
函数图像如下：
3、Relu 激活函数
函数的定义为：    xxf ,0max ，值域为[0,+∞)。
函数图像如下：
108
4、Leak Relu 激活函数
函数定义为：  






0,
0,
xx
xx
xf

，值域为(-∞,+∞)。
图像如下（ 5.0 ）：
5、SoftPlus 激活函数
函数的定义为：    xexf  1ln ，值域为(0,+∞) 。
函数图像如下:
想要获取更多机器学习、深度学习、
自然语言处理、计算机视觉相关资
料，添加解惑者 Jews 老师微信：
Jews_nlp 更有顶尖论文、项目经验以
及面试经验分享，干货多多，不容错
过！！！
109
6、softmax 函数
函数定义为：  
 
 K
k
z
z
j
k
j
e
ez
1
 。
Softmax 多用于多分类神经网络输出。
3.4.3 常见激活函数的导数计算？
对常见激活函数，导数计算如下：
原函数 函数表达式 导数 备注
Sigmoid
激活函数
  xexf  1
1
 
    xfxf
ee
xf xx










 
1
1
11
1
1
当 10x ，
或 10x 时
  0 xf
当 0x ，
  25.0 xf
Tanh
激活函数
   
xx
xx
ee
ee
xxf





 tanh
    2tanh1 xxf 
当 10x ，
或 10x 时
  0 xf
当 0x ，
  1 xf
110
Relu
激活函
目录
函数/激活/x/定义/图像/值域/10/xxf/导数/常见/ 函数/激活/x/定义/图像/值域/10/xxf/导数/常见/