Caffe CNN：转换层内滤波器的多样性[关闭]

作者: Colin
发布时间: 2024-12-21 02:00:22 (1月前)
转自：

2 条回复

0#
回复此人
青阳 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <H3> 1。 </H3> <P> 假设您正在使用SGD（或类似的反向变体）训练您的网络，权重被初始化为的<strong> 随机 </强> 鼓励它们变得多样化，因为每个不同随机滤波器的梯度损失通常是不同的，梯度将在不同方向上“拉”权重，从而产生不同的滤波器。 </p> <P> 但是，没有什么可以保证多样性。实际上，有时过滤器会彼此联系在一起（参见 <a href="https://openreview.net/pdf?id=rypT3fb0b" rel="nofollow noreferrer"> 吠声 </A> 和其中的参考文献）或降至零。 </p> <H3> 2。 </H3> <P> 当然，您希望过滤器尽可能多样化，以捕获数据的各种不同方面。假设你的第一层只有过滤器响应垂直边缘，你的网络如何处理包含水平边（或其他类型的纹理）的类？ <BR/> 此外，如果你有几个相同的过滤器，为什么两次计算相同的响应？这是非常低效的。 </p> <H3> 3。 </H3> <P> 使用“开箱即用”优化器，每层的学习过滤器彼此独立（梯度线性）。但是，可以使用更复杂的损失函数/正则化方法来使它们依赖。 <BR/> 例如，使用Lasso正则化组，可以强制某些过滤器为零，同时保持其他过滤器的信息。 </p> </DIV>

编辑

登录后才能参与评论