Cs231n課堂內容記錄-Lecture 7 神經網路二
Lecture 7 神經網路二
課程內容記錄：https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit
1．協方差矩陣：
協方差（Covariance）在概率論和統計學中用於衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況，即當兩個變數是相同的情況。
協方差表示的是兩個變數的總體的誤差，這與只表示一個變數誤差的方差不同。 如果兩個變數的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那麼兩個變數之間的協方差就是正值。 如果兩個變數的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那麼兩個變數之間的協方差就是負值。
期望值分別為E[X]與E[Y]的兩個實隨機變數X與Y之間的協方差Cov(X,Y)定義為：
如果X與Y是統計獨立的，那麼二者之間的協方差就是0，因為兩個獨立的隨機變數滿足E[XY]=E[X]E[Y]。
但是，反過來並不成立。即如果X與Y的協方差為0，二者並不一定是統計獨立的。
方差是在概率論和統計方差衡量隨機變數或一組資料時離散程度的度量。概率論中方差用來度量隨機變數和其數學期望（即均值）之間的偏離程度。統計中的方差（樣本方差）是每個樣本值與全體樣本值的平均數之差的平方值的平均數。在許多實際問題中，研究方差即偏離程度有著重要意義。
在概率分佈中，設X是一個離散型隨機變數，若E{[X-E(X)]^2}存在，則稱E{[X-E(X)]^2}為X的方差，記為D(X)，其中E(X)是X的期望值，X是變數值，公式中的E是期望值expected value的縮寫，意為“變數值與其期望值之差的平方和”的期望值。離散型隨機變數方差計算公式：
D（X）=E{[X-E(X)]^2}=E(X^2) - [E(X)]^2
當D(X)=E{[X-E(X)]^2}稱為變數X的方差，而σ=(D(X))^0.5 稱為標準差（或均方差）。它與X有相同的量綱。標準差是用來衡量一組資料的離散程度的統計量。
參見：https://www.cnblogs.com/terencezhou/p/6235974.html
參見：https://blog.csdn.net/mr_hhh/article/details/78490576
2．半正定矩陣：
半正定矩陣是正定矩陣的推廣。實對稱矩陣A稱為半正定的，如果二次型X'AX半正定，即對於任意不為0的實列向量X，都有X'AX≥0。
3．主成分分析：（PCA）
參見：https://www.cnblogs.com/pinard/p/6239403.html
4．奇異值分解：
奇異值分解（Singular Value Decomposition）是線性代數中一種重要的矩陣分解，奇異值分解則是特徵分解在任意矩陣上的推廣。
參見：https://www.cnblogs.com/pinard/p/6251584.html
參見：http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html
5．反向隨機失活：
參見：https://blog.csdn.net/sinat_29957455/article/details/81023154