1. 程式人生 > >什麼是演算法,為什麼需要學演算法,以及演算法學到什麼程度

什麼是演算法,為什麼需要學演算法,以及演算法學到什麼程度

第一個問題我覺得我無法給出完美的答案,這裡搞競賽的牛人蠻多,不妨說說體會。

我個人覺得演算法裡面極大一部分內容是如何有效地進行搜尋,這裡的”有效”可以分為:避免不必要的計算(如A*尋路以及所有的啟發式剪枝),快取重複計算(如所有­的動態規劃)。當然,知道這些跟具體的設計出一個演算法至少還有十萬八千里,只能說有了這個大體的思路,就可以從這兩個角度去審視手頭的問題,往往是會有啟發意義­的罷了。如何避免不必要的計算?也有很多 rules of thumb 可以遵循,如啟發式剪枝裡面就要求去設計一個最優下界,而最一般的思路則是使勁瞅瞅問題裡面有什麼條件是沒有利用的,這些條件組合起來可以得出什麼性質,也許某­個性質就能夠被利用來減掉一大堆計算,至於如何從題目條件推出有價值的性質,有兩個辦法,一是試錯(想到的結論都給寫出來,陶哲軒在 Solving Mathematical Problems 裡面就提到過這個辦法。);另一個方向則是腦袋裡揣著想要實現的目的往反方向歸約。如何快取重複計算?簡單的動態規劃問題如fibonacci數列計算,其重複­計算是非常明顯的,計算的過程本身就指明瞭哪些計算是重複的(An 項的計算是重複的)——當然,正如早前鄧同學發的一個題目

https://groups.google.com/group/pongba/browse_frm/thread/2ca1f2bda0c8…裡面說的,其實fibonacci數列計算裡面的線性變換本身也是有重複計算的——後者便是更隱蔽的重複計算了,一個 non-trivial 的動態規劃問題往往涉及到非常隱蔽的重複計算,或者更難的是,你遍歷組合空間的方式決定了你所能夠快取的重複計算到底有多少,也許某個遍歷方式之下就沒有辦法去­快取計算。當然,演算法的範疇其實是很大的,演算法是一個AI-Complete 的問題,所有的 Problem-Solving 過程都可以叫做演算法。只是有很多實際當中的演算法會掉入以上兩類而已。

第二個問題我舉一個例子:不像很多牛人在高中和本科就競賽獎牌一堆,我直到大四的時候還不知道什麼是動態規劃,因為本科四年我一直只對底層技術感興趣,最喜歡看 比如 Petzold 的《編碼的奧祕》和 Richter 的《.NET 框架程式設計》(事實上這是我看的第一本英文原版書)這類書。研一的時候由於方向是自然語言處理,看的第一篇 paper 是 Rabiner 的 A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition。Paper 的內容倒是完全能夠理解,但是理解其實只是第一步,我發現理解了之後很快就忘掉了,這就說明理解得不夠深刻。比如裡面的 Viterbi 演算法,花了時間去理解,但是一轉頭很快又忘掉了。一年後因為機緣巧合,對演算法發生了一段短暫的興趣,並學習了一些基礎的演算法,尤其是演算法的思想,因為思想是有窮­的,但演算法是無窮的,尤其是題目是做不完的。之後一段時間,碰巧又需要翻一翻馬可夫模型,搜出吳軍的數學之美以及那篇 Paper ,發現 Viterbi 演算法其實就是最簡單的一類動態規劃,由於對於動態規劃的理解深刻了很多,所以對於 Viterbi 演算法,在腦袋裡面記住的不再是什麼 Forward Variable/Backward Variable 之類的技術細節,而是它的本質,於是便不再容易忘掉,而即便忘掉,就如龐加萊所說,也可以非常迅速的將演算法的細節自行構建出來。

其實我相信這樣的例子是數不勝數的,所以我這個只是算一個 Yet Another Example ,由於對我來說比較特殊,所以印象較為深刻。

這個例子是關於”理解”的。有時候演算法也會非常有用,如有一次寫程式時需要用到 LCS 和 Edit-Distance (這樣的機會很少,但遇到了時如果不知道有多項式複雜度的演算法就很悲慘了),而做機器學習和資料探勘的更是少不了一坨坨的演算法,如果光是理解別人的做法然後實現­出來,那麼對演算法的思想的把握有助於理解和記憶;如果需要自己設計演算法,那就需要演算法基礎知識的輔助才行了。絕大多數人應該屬於前者。

學習到什麼程度?我覺得視人群而定。如果做底層開發、應用開發、系統開發,只要知道一個大概就可以了,知道經典的資料結構和演算法沒有任何困難,而且反正經典演算法­都有現成的庫可用。對於有興趣做一點 research 沾邊的事情的人,則需要了解這些演算法背後的一般性思路是什麼,否則來一個特定的演算法你就特定的理解記憶一下,肯定不牢靠,而且浪費大腦資源。對於搞 real deal 的 original research 的那就需要廣泛的知識積累了,光知道一般性思路都不夠。

另一方面,我覺得學完了經典演算法,深刻理解了演算法背後的一般性思路之後,如果再進一步去玩題目,做題庫。效益卻不是很大的,因為刀磨了是要用的,玩題目做題庫就­是進一步磨刀而不用(不去解決實際問題,能夠產生影響力的,或生產力的問題)。實際上做了一些題目之後就完全沒必要進一步做題目了,因為做來做去,拼的基本也就­是誰的知識積累多(套路多),誰的耐心大(肯使勁去磨一道題目);實際上誰也不比誰笨,到最後區別就基本上顯露在知識積累和耐心上了。所以接著做,刀也不會磨得­更鋒利,更何況大好的時光應該去做點有意義的事情(如果是為了 fun 而做題的,那麼有意義的事情同樣也可以是 extremely fun),比如我覺得最吸引人也最根本的問題就是人工智慧問題(想想看,人腦是世界上迄今為止所知最為複雜的結構,這個結構具備了認識自然界”規律”的能力,具­備了認識”自我”的能力,具備了歸納和演繹推理的能力,類比的能力,具備了難以置信的啟發式搜尋能力,具備完美的模式識別能力,而根據進化論的觀點,這樣的結構­居然僅僅是通過變異——篩選得來的,如果真有上帝,那麼利用上帝賦予我們的大腦去破解上帝這個頂級牛逼程式設計師寫的程式——人腦的祕密,還有比這更帶勁兒的事情嗎­?),所以我覺得有那麼好的基礎的牛人,不去直面真正 fundamental 的 problems ,就可惜了,須知題目是永遠做不完的,一個公理系統的定理也是永遠推導不完的,永遠可以設計出題目來給你做,但是真正的問題其實只有一個。如果窮舉不了世界上所­有的問題,至少可以舉出那些有趣、有意義的問題。