Autograd

1、深度學習的算法本質上是通過反向傳播求導數，Pytorch的Autograd模塊實現了此功能；在Tensor上的所有操作，Autograd都能為他們自動提供微分，避免手動計算導數的復雜過程。
2、autograd.Variable是Autograd中的核心類，它簡單的封裝了Tensor，並支持幾乎所有Tensor操作；Tensor被封裝為Variable之後，可以調用它的.backward()實現反向傳播，自動計算所有的梯度。
3、Variable主要包含三個屬性：
        data：保存Variable所包含的Tensor；
        grad：保存data對應的梯度，grad也是個Variable，而不是Tensor，它和data的形狀一樣；
        grad_fn：指向一個Function對象，這個Function用來反向傳播計算輸入的梯度。
 

具體代碼解析

1. #_Author_:Monkey
2. #!/usr/bin/env python
3. #-*- coding:utf-8 -*-
4. import torch as t
5. from torch.autograd import Variable
7. x = Variable(t.ones(2,2),requires_grad = True)
8. print(x)
9. ‘‘‘‘‘tensor([[1., 1.],
10. [1., 1.]], requires_grad=True)‘‘‘
11. y = x.sum()
12. print(y)
13. ‘‘‘‘‘tensor(4., grad_fn=<SumBackward0>)‘‘‘
14. print(y.grad_fn) #指向一個Function對象，這個Function用來反向傳播計算輸入的梯度
15. ‘‘‘‘‘<SumBackward0 object at 0x000002D4240AB860>‘‘‘
16. y.backward()
17. print(x.grad)
18. ‘‘‘‘‘tensor([[1., 1.],
19. [1., 1.]])‘‘‘
20. y.backward()
21. print(x.grad)
22. ‘‘‘‘‘tensor([[2., 2.],
23. [2., 2.]])‘‘‘
24. y.backward()
25. print( x.grad )
26. ‘‘‘‘‘tensor([[3., 3.],
27. [3., 3.]])‘‘‘
28. ‘‘‘‘‘grad在反向傳播過程中時累加的(accumulated)，這意味著運行
29. 反向傳播，梯度都會累加之前的梯度，所以反向傳播之前需要梯度清零‘‘‘
30. print( x.grad.data.zero_() )
31. ‘‘‘‘‘tensor([[0., 0.],
32. [0., 0.]])‘‘‘
34. y.backward()
35. print( x.grad )
36. ‘‘‘‘‘tensor([[1., 1.],
37. [1., 1.]])‘‘‘
39. m = Variable(t.ones(4,5))
40. n = t.cos(m)
41. print(m)
42. print(n)
43. ‘‘‘‘‘tensor([[1., 1., 1., 1., 1.],
44. [1., 1., 1., 1., 1.],
45. [1., 1., 1., 1., 1.],
46. [1., 1., 1., 1., 1.]])
47. tensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
48. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
49. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
50. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])‘‘‘
51. m_tensor_cos = t.cos(m.data)
52. print(m_tensor_cos)
53. ‘‘‘‘‘ensor([[0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
54. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
55. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403],
56. [0.5403, 0.5403, 0.5403, 0.5403, 0.5403]])‘‘‘

Autograd：自動微分