1. 程式人生 > >永遠的金大俠-人工智慧的江湖

永遠的金大俠-人工智慧的江湖

金庸先生已離我們遠去,筆者當天在朋友圈看到這一訊息時心情非常沉痛。作為在小學時就開始讀金庸小說的80後,先生給我們的,不僅僅是一個個鮮活的人物,跌宕起伏的故事情節,正義與俠義,而是一個時代的印記。總想著為先生寫點什麼,奈何文筆不佳,就從自己的專業出發,將AI各種學派與金大俠筆下的人物作一類比,與各位討論品評,算是對先生的一點點緬懷與哀思。

 

有人的地方就有江湖,有江湖的地方就有派系。人工智慧領域(其實更準確的說是機器學習)也不例外,各種學派、思想、方法各成一家,自有其獨門絕技與真傳,又相互之間有千絲萬縷之聯絡。各大門派紛紛登場,展示其武藝與江湖聲威,共議人工智慧大計。

丐幫-神經網路

金庸筆下的丐幫勢力龐大,弟子眾多,遍佈全國各地,神經網路的江湖地位與其最為符合,自成一家,雖稱不上高大上(缺乏紮實的數學理論基礎),但卻非常實用,各種改進演算法層出不窮。

 

幫主Hinton(事實上,Hinton並不是神經網路的發明人,但他是反向傳播演算法的發明人之一,也是深度學習的奠基人,因此我們推舉他為幫主)潛心研究武學數十載,得降龍十八掌之絕技(反向傳播演算法),後又提出打狗棒法(dropout),招式樸實,效果卻令人驚歎。雖不及少林和武當那樣有深厚的理論淵源,但奈何其勢力龐大。全連線神經網路,卷積神經網路,迴圈神經網路,自動編碼器(包括DAE,CAE,VAE),受限玻爾茲曼機(包括DBM,DBN)如同散落在各地的分舵,遍地開花。而同其他幫派聯姻的合體-深度強化學習(DRL)堪稱武林的佳話。中途雖有衰退的數十年,但最近幾年以深度學習之身份重振江湖。

少林-支援向量機

少林派內力深厚(數學功底紮實),背靠博大精深的佛學。坐鎮的領頭人物Vapnik可謂武林中的頂尖高手。其核心人物將易筋經(核技術,kernel trick)用的出神入化,化非線性為線性,分類、迴歸問題不在話下,一度執機器學習之牛耳。更有大力金剛指(拉格朗日對偶),少林龍爪手(凸優化),金剛伏魔圈(SMO演算法)加持,威震武林數十載。然其所需內力深厚,要掌握精髓實屬不易。

武當-概率圖模型

概率圖模型如同金庸筆下的武當,以概率論(道教)的堅實理論作為支撐,在機器學習的江湖中自成一家,有相當的獨立性。其奠基人Judea Pearl曾問鼎圖靈大獎,乃武學之至尊榮譽。概率圖模型招式優美,貝葉斯網路(太極拳法),隱馬爾可夫模型(九陽神功),條件隨機場(太極劍法)都是該派的絕學。然而因為其招式精妙(要求較高的概率論、隨機過程等知識),一直以來令眾多習武之人望而生畏。

峨眉派-整合學習

整合學習是機器學習中一種特殊的存在,自有其深厚而樸實的武功哲學,能化腐朽為神奇,變弱學習為強學習,雖不及武當和少林那樣內力與功底深厚。其門下兩個主要分支-bagging和boosting,各有成就,前者有隨機森林支撐門面,後者有AdaBoost,GBDT,XGBoost一脈傳承。門下弟子近年來在Kaggle大賽中獲獎無數,體現了實用主義的風格,為眾多習武之人所喜愛,趨之若鶩。

大理段氏-強化學習

強化學習是武林中的一個特殊存在。其代表性人物Richard S. Sutton也是機器學習領域的領軍人物。長期以來,強化學習一直是機器學習武林中的閒雲野鶴,不太過問世事,雖然有一陽指-時序差分演算法(如Q學習)在手,但從不顯山露水。2013年,其門下弟子創立的DeepMind公司,將本派武功與丐幫的卷積網路大法相融合,創造出了一種玄幻的招式-DQN(深度Q網路),開深度強化學習之先河,只通過觀察遊戲畫面,就可以打Atari遊戲,並且比人類玩家還強,令江湖人士驚奇。2016年,旗下的AlphaGO更是在圍棋領域戰勝了高麗國絕世高手李世石,一時轟動四海,江湖中人無不為之驚歎。媒體的加持,全民的關注令人工智慧再次走上風口浪尖,加之各路風投傾囊相助,有識之士紛紛設立武學館,可謂紅火。

姑蘇慕容氏-深度生成模型

 

LeCun說過,GAN是“生成對抗性網路是近十年來最有趣的想法”。 其代表性人物Goodfellow是該領域的領軍人物。生成網路從潛在空間(latent space)中隨機取樣作為輸入,其輸出結果需要儘量模仿訓練集中的真實樣本,就如同姑蘇慕容氏的家傳絕學以彼之道還施彼身,在瞭解對方(判別模型)精要的基礎上,使出斗轉星移的功夫(去學習判別模型刻畫的資料分佈),將對方的招式反擊到他自己身上,看起來好像是使出了跟對方一樣的武功將對方打倒(讓判別模型難斷真假)。慕容氏其世代傳承的“以彼之道,還施彼身”的武功絕技,威震江湖。現任莊主Goodfellow年少有為,學武有成,在江湖上闖出一番名頭,當下追隨者眾多,一時無二,CVPR 2018的論文題目中含有關鍵詞GAN的文章佔比超過8%,相比2017年增長了2倍多。

華山派-樹模型

華山派在江湖中也是顯赫的存在,其代表人物風清揚(Breiman)將本門絕技獨孤九劍(CART,分類與迴歸樹)練得出神入化。就連網際網路中的教父級人物馬雲也樂用其名。除獨孤九劍之外,衝靈劍法(ID3)和衝靈劍法(C4.5)雖在如今的江湖已不是主流,但也有其特殊的歷史地位。

崑崙派-流形學習

崑崙派在2000年之後著實風光了幾年,其野心勃勃,當年有抗衡武當和少林之勢。自2000年LLE(區域性線性嵌入)登上Science雜誌,到幾年之後t-SNE謝幕,其來勢也快,去得也快,如流星劃過機器學習的天空。雖沒有成大氣候,但招式堪稱優美,其思想是給後世留下的一筆寶貴財富,對高維空間的探索是習武之人孜孜不倦的追求。

大鬧一場,悄然離去...