PROSAGA码农传奇-Caffe-caffe中的L2正规化，来自千层面的转换

caffe中的L2正规化，来自千层面的转换

作者: Colin
发布时间: 2024-05-15 08:13:37 (5月前)
转自：

<div class =“post-text”itemprop =“text”>
  
    看起来你已经做对了。
     
    
该
    <a href="https://stackoverflow.com/q/32177764/1714410">
       <code>
 weight_decay
 </code>
    </A>
     元参数结合
     <code>
 regularization_type: "L2"
 </code>
     在你的
     <code>
 'solver.prototxt'
 </code>
     告诉caffe使用
     <code>
 L2
 </code>
     正规化
     <code>
 weight_decay = 1e-5
 </code>
    。
  
  
    您可能想要调整的另一件事是正则化对每个参数的影响程度。你可以设置它
    
      对于网络中的每个参数blob
    
     通过
  
   <pre>
 <code>
 param { decay_mult: 1 }

</code>
 </pre>
  
    例如，一个
     <code>
 "InnerProduct"
 </code>
     带偏置的图层有两个参数：
  
   <pre>
 <code>
 layer {
 type: "InnerProduct"
 name: "fc1"
 # bottom and top here
 inner_product_param { 
 bias_term: true
 # ... other params
 }
 param { decay_mult: 1 } # for weights use regularization
 param { decay_mult: 0 } # do not regularize the bias
}

</code>
 </pre>
  
    默认情况下，
     <code>
 decay_mult
 </code>
     设置为1，也就是说，网的所有权重都是相同的。您可以更改它以规范更多/更少特定的参数blob。
  
</DIV>