有一組向量可以通過線性組合得到其他向量，他們所有線性組合的集合就稱為向量的線性生成空間。也就是說在裡面的所有向量都可以由這組向量線性組合得到。維度就是基的數量。

基不一定是兩兩垂直並不一定是正交的，而是隻要滿足這一組基之間是線性無關的就夠了。

線性無關並不一定導致垂直，但垂直一定是線性無關的。

例如我判斷（1，1）（1，0）或（0，1）它們是不是線性無關的，就把它前面的係數a1,a2求出來，發現它們只有唯一的的解是零那麼它們就是線性無關。

例如你一個二維的向量，但未知數大於二，未知數比方程數還多，解肯定不是唯一的，所以線性相關。

線性生成空間：我首先給你一組向量，然後這組向量可以線性組合得到很多其他的向量，他所有的線性組合得到的向量構成的這樣一個空間就叫它的線性生成空間。

選擇範數的標準：定義的範數能不能使得問題好解，是不是一個典型的凸優化問題。

正則化就是說我不希望引數過大就加入一個懲罰。高斯分佈通常選擇L2範數，拉普拉斯選擇L1範數。內積實際上就是一個向量在另一個向量的投影。

線性變換就是自己空間到自己空間的對映，矩陣作用在二維向量上面得到一個二維向量，這個矩陣必須是一個方陣。