補：PCA降維
結合網上的資料，細看了兩種求解PCA的方式。當進行協方差矩陣上求解特徵值時，若矩陣的維數較小，則可以使用傳統的求解方式，直接求出協方差矩陣的所有特徵值和對應的特徵向量。但是如果是用在圖片方面，加入一張100*100的圖片，特徵維度高達10000維，協方差矩陣則是10000*10000這種級別，這將耗費的計算量呈平方級增長。面對這樣一個難點，用傳統方法求解不現實，因此引出奇異值分解(SVD)，利用SVD不僅可以解出PCA的解，而且無需大的計算量。奇異值分解的基本公式
，其中， 
除了主對角線上的元素以外全為0，主對角線上的每個元素都稱為奇異值，且已按大小排序。
的列向量即是
的特徵向量；
的列向量是
的特徵向量。在看這些數學推導的時候，感覺到自己數學基礎還是很薄弱，花了不少時間去補數學知識。
PCA降維--參考文獻
[1] Jon Shlens. A Tutorial on Principal Component Analysis-Derivation, Discussion and Singular Value Decomposition. 2003
[2] J. Yang, D. Zhang, A. Frangi, and J. Yang
[3] L. Sirovich and M. Kirby. Low-Dimensional Procedure for Characterization of Human Faces. J. Optical Soc. Am., vol. 4, pp. 519-524, 1987.
[4] M. Kirby and L. Sirovich. Application of the KL Procedure for the Characterization of Human Faces. IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 103- 108, Jan. 1990.
[5] Zhang D, Zhou Z H. (2D)2: Two-directional two-dimensional PCA for efficient face representation and recognition[J]. Neurocomputing, 69(1):224-231,2005.
[6] G. E. Hinton, R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks. Science 313 (5786): 504-507, 2006.
[7] Nawaf Hazim Barnouti. Face recognition using pca-bpnn with dct implemented on face94 and grimace databases. International Journal of Computer Applications 142(6):8-13 · May 2016
[8] Sun Y, Wang X, Tang X. Deep Learning Face Representation from Predicting 10,000 Classes[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2014:1891-1898.