1. 程式人生 > 其它 >torch detach()與.data

torch detach()與.data

轉自:https://blog.csdn.net/DreamHome_S/article/details/85259533

1.區別

  • .data返回和x的相同資料tensor, 但不會加入到x的計算曆史裡,且require s_grad = False,這樣有些時候是不安全的, 因為x.data不能被autograd追蹤求微分 。
  • .detach()返回相同資料的tensor,且requires_grad=False,但能通過in-place操作報告給autograd在進行反向傳播的時候。

2.例子

.data

>>> a = torch.tensor([1,2,3.], requires_grad =True)
>>> out = a.sigmoid() >>> c = out.data >>> c.zero_() tensor([ 0., 0., 0.]) >>> out # out的數值被c.zero_()修改 tensor([ 0., 0., 0.]) >>> out.sum().backward() # 反向傳播 >>> a.grad # 這個結果很嚴重的錯誤,因為out已經改變了 tensor([ 0., 0., 0.])

.detach()

>>> a = torch.tensor([1,2,3.], requires_grad =True)
>>> out = a.sigmoid()
>>> c = out.detach()
>>> c.zero_()
tensor([ 0., 0., 0.])

>>> out                   #  out的值被c.zero_()修改 !!
tensor([ 0., 0., 0.])

>>> out.sum().backward()  #  需要原來out得值,但是已經被c.zero_()覆蓋了,結果報錯
RuntimeError: one of the variables needed for gradient computation has been modified by an

綜上,區別是修改後再使用是否會提示報錯。