開始 貝葉斯 ipa math ani 背景 論文集 ica transform

1. 線性代數 (Linear Algebra)：我想國內的大學生都會學過這門課程，但是，未必每一位老師都能貫徹它的精要。這門學科對於Learning是必備的基礎，對它的透徹掌握是必不可少的。我在科大一年級的時候就學習了這門課，後來到了香港後，又重新把線性代數讀了一遍，所讀的是Introduction to Linear Algebra (3rd Ed.) by Gilbert Strang.這本書是MIT的線性代數課使用的教材，也是被很多其它大學選用的經典教材。它的難度適中，講解清晰，重要的是對許多核心的概念討論得比較透徹。我個人覺得，學習線性代數，最重要的不是去熟練矩陣運算和解方程的方法——這些在實際工作中MATLAB可以代勞，關鍵的是要深入理解幾個基礎而又重要的概念：子空間(Subspace)，正交(Orthogonality)，特征值和特征向量(Eigenvalues and eigenvectors)，和線性變換(Linear transform)。（如果你能理解傅立葉變化究竟做了一件什麽事情，你才能說你知道了子空間！學線性代數一定要理解MATLAB能為你做的事情之外其他的東西，這才是精髓。而很遺憾，很多高校的線性代數考試只測試學生的計算能力。有幾個數學老師能告訴學生：我們為什麽要計算特征值？）從我的角度看來，一本線代教科書的質量，就在於它能否給這些根本概念以足夠的重視，能否把它們的聯系講清楚。Strang的這本書在這方面是做得很好的。而且，這本書有個得天獨厚的優勢。書的作者長期在MIT講授線性代數課(18.06)，課程的video在MIT的Open courseware網站上有提供。有時間的朋友可以一邊看著名師授課的錄像，2. 概率和統計 (Probability and Statistics): (功利一點的講，統計是最實用的一門學科，如果你不去研究，不去做高端的金融投資分析，那麽你可以不去學泛函，不去學線性代數，不去了解拓撲，但你一定離不開統計！時間序列分析也很重要，甚至比統計還來得實用，可國內卻鮮有高校開設這門課程。。。)概率論和統計的入門教科書很多，我目前也沒有特別的推薦。我在這裏想介紹的是一本關於多元統計的基礎教科書：Applied Multivariate Statistical Analysis (5th Ed.) by Richard A. Johnson and Dean W. Wichern這本書是我在剛接觸向量統計的時候用於學習的，我在香港時做研究的基礎就是從此打下了。實驗室的一些同學也借用這本書學習向量統計。這本書沒有特別追求數學上的深度，而是以通俗易懂的方式講述主要的基本概念，讀起來很舒服，內容也很實用。對於Linear regression, factor analysis, principal component analysis (PCA), and canonical component analysis (CCA)這些Learning中的基本方法也展開了初步的論述。之後就可以進一步深入學習貝葉斯統計和Graphical models。(To my great acknowledgement, it is just for research.)一本理想的書是Introduction to Graphical Models (draft version). by M. Jordan and C. Bishop.我不知道這本書是不是已經出版了（不要和Learning in Graphical Models混淆，那是個論文集，不適合初學）。這本書從基本的貝葉斯統計模型出發一直深入到復雜的統計網絡的估計和推斷，深入淺出，statistical learning的許多重要方面都在此書有清楚論述和詳細講解。MIT內部可以access，至於外面，好像也是有電子版的。3. 分析 (Analysis)： (這才是真正數學家應該做的事情，無奈本人智力水平有限，無法於此領域有多少見地)我想大家基本都在大學就學過微積分或者數學分析，深度和廣度則隨各個學校而異了。這個領域是很多學科的基礎，值得推薦的教科書莫過於Principles of Mathematical Analysis, by Walter Rudin有點老，但是絕對經典，深入透徹。缺點就是比較艱深——這是Rudin的書的一貫風格，適合於有一定基礎後回頭去看。在分析這個方向，接下來就是泛函分析(Functional Analysis)。Introductory Functional Analysis with Applications, by Erwin Kreyszig.適合作為泛函的基礎教材，容易切入而不失全面。我特別喜歡它對於譜論和算子理論的特別關註，這對於做learning的研究是特別重要的。Rudin也有一本關於functional analysis的書，那本書在數學上可能更為深刻，但是不易於上手，所講內容和learning的切合度不如此書。在分析這個方向，還有一個重要的學科是測度理論(Measure theory)，（泛函是一切數學之源，而測度論又是泛函的基石。如今世界頂級投行的quant大部分都是利用概率測度去做風險中性建模和衍生品定價，誰說分析數學沒有用？！ibank的衍生品投資分析都是基於測度中性去做的，因為對於大規模投資來說，最大的問題不是profit,而是risk hedging）但是我看過的書裏面目前還沒有感覺有特別值得介紹的。4. 拓撲 (Topology)：在我讀過的基本拓撲書各有特色，但是綜合而言，我最推崇：Topology (2nd Ed.) by James Munkres這本書是Munkres教授長期執教MIT拓撲課的心血所凝。對於一般拓撲學(General topology)有全面介紹，而對於代數拓撲(Algebraic topology)也有適度的探討。此書不需要特別的數學知識就可以開始學習，由淺入深，從最基本的集合論概念（很多書不屑講這個）到Nagata-Smirnov Theorem和Tychonoff theorem等較深的定理（很多書避開了這個）都覆蓋了。講述方式思想性很強，對於很多定理，除了給出證明過程和引導你思考其背後的原理脈絡，很多令人贊嘆的亮點——我常讀得忘卻饑餓，不願釋手。很多習題很有水平。5. 流形理論 (Manifold theory)：對於拓撲和分析有一定把握時，方可開始學習流形理論，否則所學只能流於浮淺。我所使用的書是Introduction to Smooth Manifolds. by John M. Lee雖然書名有introduction這個單詞，但是實際上此書涉入很深，除了講授了基本的manifold, (個人覺得現在vision領域的manifold learning只是一些無病呻吟的研究，it is just for papers，但是我並不是說流行學習對vision沒有用處，只是manifold真正的魅力遠沒有被挖掘出來！正像俄羅斯那一群科學怪人整出的l1-norm，誰能想到今天對vision界帶來了如此大的變革。其實，有時學習數學只是一種信仰。）tangent space, bundle, sub-manifold等，還探討了諸如綱理論(Category theory)，德拉姆上同調(De Rham cohomology)和積分流形等一些比較高級的專題。對於李群和李代數也有相當多的討論。行文通俗而又不失嚴謹，不過對某些記號方式需要熟悉一下。雖然李群論是建基於平滑流形的概念之上，不過，也可能從矩陣出發直接學習李群和李代數——這種方法對於急需使用李群論解決問題的朋友可能更加實用。而且，對於一個問題從不同角度看待也利於加深理解。下面一本書就是這個方向的典範：Lie Groups, Lie Algebras, and Representations: An Elementary Introduction. by Brian C. Hall此書從開始即從矩陣切入，從代數而非幾何角度引入矩陣李群的概念。並通過定義運算的方式建立exponential mapping，並就此引入李代數。這種方式比起傳統的通過“左不變向量場(Left-invariant vector field)“的方式定義李代數更容易為人所接受，也更容易揭示李代數的意義。最後，也有專門的論述把這種新的定義方式和傳統方式聯系起來。無論是研究Vision, Learning還是其它別的學科，數學終究是根基所在。（數學是能與上帝對話的語言）學好數學是做好研究的基石。（如果你能摒棄了功利的去學習數學，那麽數學也勢必能夠為你帶來功利!）學好數學的關鍵歸根結底是自己的努力但是選擇一本好的書還是大有益處的。不同的人有不同的知識背景，思維習慣和研究方向，因此書的選擇也因人而異，只求適合自己，不必強求一致。上面的書僅僅是從我個人角度的出發介紹的，我的閱讀經歷實在非常有限，很可能還有比它們更好的書（不妨也告知我一聲，先說聲謝謝了）。

關於學習數學