Pytorch：如何创建一个不是衍生品的更新规则？

作者: Frui tenebris、
发布时间: 2025-02-06 04:01:03 (1天前)
转自：

2 条回复

0#
回复此人
部落用户 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 我试试看。 </p> <P> <code> .backward() </code> 不需要丢失函数，它只需要一个可微分的标量输出。它近似于模型参数的梯度。让我们看一下值函数更新的第一种情况。 </p> <P> 我们有一个渐变出现在v，我们可以近似这个渐变 </p> <pre> <code> v = model(s) v.backward() </code> </pre> <P> 这给了我们一个渐变 <code> v </code> 它具有模型参数的尺寸。假设我们已经计算了其他参数更新，我们可以计算实际的优化器更新： </p> <pre> <code> for i, p in enumerate(model.parameters()): z_theta[i][:] = gamma * lamda * z_theta[i] + l * p.grad p.grad[:] = alpha * delta * z_theta[i] </code> </pre> <P> 然后我们可以使用 <code> opt.step() </code> 使用调整后的渐变更新模型参数。 </p> </DIV>

编辑

登录后才能参与评论