自定义重量初始化导致错误 - pytorch

作者: 一只特立独行的猪
发布时间: 2024-10-12 01:35:37 (14小时前)
转自：

3 条回复

0#
回复此人
哦豁 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 除了Fabio提到的关于检查图层类型和ReLU是激活而不是可训练层的内容，因为它是关于初始化的，你可以在__init__方法本身中进行权重初始化，就像在这里完成一样： </p> <P> <a href="https://github.com/pytorch/vision/blob/master/torchvision/models/vgg.py" rel="nofollow noreferrer"> https://github.com/pytorch/vision/blob/master/torchvision/models/vgg.py </A> </p> <pre> <code> def __init__(self, features, num_classes=1000,...): ----snip--- self._initialize_weights() def _initialize_weights(self): if isinstance(m, nn.Linear): m.weight.data.normal_(0.0, 1) </code> </pre> </DIV>

编辑
1#
回复此人
坚挺的阿袁 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 您正在尝试设置无重力层（ReLU）的权重。 </p> <P> 内 <code> weights_init </code> ，您应该在初始化权重之前检查图层的类型。例如： </p> <pre> <code> def weights_init(m): if type(m) == nn.Linear: m.weight.data.normal_(0.0, 1) </code> </pre> <P> 看到 <a href="https://stackoverflow.com/questions/49433936/how-to-initialize-weights-in-pytorch"> 如何在PyTorch中初始化权重？ </A> 。 </p> </DIV>

编辑

登录后才能参与评论