pytorch是否急于修剪其计算图？

作者: 氷寒
发布时间: 2024-12-20 03:00:49 (1月前)
转自：

2 条回复

0#
回复此人
冷月如霜·胡狼 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 不，当达到零时，pytorch不会修剪任何后续计算。更糟糕的是，由于浮点运算如何工作，所有后续乘以零将花费与任何常规乘法大致相同的时间。 </p> <P> 对于某些情况，有一些方法，例如，如果你想使用蒙面损失你可以的<strong> 组 </强> 屏蔽的输出为零，或者将它们从梯度中分离出来。 </p> <P> 这个例子清楚地区分了： </p> <pre> <code> def time_backward(do_detach): x = torch.tensor(torch.rand(100000000), requires_grad=True) y = torch.tensor(torch.rand(100000000), requires_grad=True) s2 = torch.sum(x * y) s1 = torch.sum(x * y) if do_detach: s2 = s2.detach() s = s1 + 0 * s2 t = time.time() s.backward() print(time.time() - t) time_backward(do_detach= False) time_backward(do_detach= True) </code> </pre> <P> 输出： </p> <pre> <code> 0.502875089645 0.198422908783 </code> </pre> </DIV>

编辑

登录后才能参与评论