入學快3年了，上半個學期快結束的時候才意識到到底該系統的學習哪些課程，這個學起來就根據去年的認識在做一個完整系統的課程複習+學習，複習的是之前學過的課程比如高數、線性代數和概率這些，學習的是之前從沒學過的課程比如訊號系統、最優化理論。由於我的學習方向是機器學習，所以我覺得這些課程對於我來說意義很大，儘管之前學過，其實都在看paper的時候根本聯絡不起來或者不會靈活運用，根本想不到當時學過的這些知識。

對於高數，我這次複習主要看了極限、導數、微分、一元函式極值、不定積分、定積分、隱函式求導法則、二元函式偏微分和全微分、方向導數、梯度、二元函式極值、以及在之前的基礎上延伸出來的最小二乘法和拉格朗日乘數法（這兩個延伸才是我本次覺得最大收穫的地方，詳見下文描述）

複習的過程中主要是對概念做了一個相對深入的把握，發現這次複習所感悟到的比本科學習以及考研的複習的時候的感悟還要深刻，這次覺得最重要的地方就是求極值，隱函式求導以及二元函式的極值的求法。尤其是函式極值的必要條件也就是導數為0的點，多元函式是偏導數為0的點，接下來的拉格朗日乘數法的推導等等都是從這裡開始的，而最小二乘法倒是利用了拉格朗日乘數法來做的。在這裡我想說明一下拉格朗日乘數法，因為這個是對之前學過的一個綜合的運用：

在我最早接觸機器學習中的一些線性擬合問題的時候早都看到過這個東西了，但是就是不知道其理論原理，比如很有名的網易公開課上的斯坦福的NG Andrew的機器學習的第二課關於房價的一個線性擬合問題。拉格朗日法是在給了目標函式以及一個等式約束條件後來求自變數的值的，根據求極值的必要條件，如果對一個方程來說求極值，可以同時對自變數求偏導，讓偏導為0.聯立方程就可以求得了。但是在這個地方咋辦？因為多了一個約束等式，很自然想到，約束等式代換到目標函式中，有時候很容易做到，但是有時候不容易分離出來，也就無法帶入了。這個時候另外一個理論起作用了：當一個隱函式在點(x0,y0)處為0，對x的偏導不為0，那麼此時就可以決定一個函數了y=f(x)，根據這個關係，那麼就可以代入目標函式，進而分別求偏導來解了，這是這個隱函式所決定的這個函式的存在，這個一切的形式就是拉格朗日的展開形式。自然也就ok了。。

最小二乘法：比如給定了很多樣本點，想找到一條擬合這個樣本點的線，那麼我先假設這個線的方程，然後根據樣本點的自變數代入得到的值減去觀測值，然後讓全部的樣本點計算的值域觀測值差的平方和最小，來求解線的方程的引數，這個也就是求解最小值的問題了，只需要對每個變數求偏導，聯立即可求得了。

目前線性代數和最優化的課程還在複習和學習中，搞完了再來說吧，覺得這次花費的時間真是值得！