Caffe中的weight_decay元参数是什么？

作者: 狗头军师
发布时间: 2024-12-30 06:32:58 (3天前)

2 条回复

1#
回复此人
v-star*위위 | 2020-07-30 14-52

该weight_decay元参数支配神经网络的调整项。在训练期间，将正则化项添加到网络的损耗中以计算反向传播梯度。该weight_decay值确定该正则化项在梯度计算中的占主导地位。根据经验，培训示例越多，该术语应越弱。您拥有的参数越多（即，网络越深，过滤器越大，InnerProduct图层越大等），该术语应该越高。 Caffe还允许您通过设置来在L2正则化（默认）和L1正则化之间进行选择 regularization_type: "L1" 但是，由于在大多数情况下权重是小数（即-1<w<1），L2因此权重的范数明显小于其L1范数。因此，如果您选择使用，则regularization_type: "L1"可能需要调整weight_decay到明显较小的值。虽然在训练期间学习率可能会（并且通常会发生变化），但调整权重始终是固定的。

编辑

登录后才能参与评论