2020-10-20 17:32:20

您當年高考多少分呢？

“697分。"

那具體每個科目的分數呢？

“這個啊，一時想不起來了，畢竟都過去七八年了。”

作者 | 陳大鑫

高考之後七年多，楊幻睿如今22歲了，杜克大學博士四年級在讀。

9月26日，在楊幻睿正吃晚飯的時候，一封郵件發到了他的手機郵箱裡。

起初他還沒有在意，但是隨後看到是微軟CMT代發的郵件，他突然意識到了什麼......

果然，NeurIPS 2020放榜了：郵件以Congratulations！開頭。

看到這裡他突然長舒了一口氣，“半年多的付出總算得到了回報，還好，還好。”

之後，杜克大學電子與計算機工程系陳怡然教授，在微博上晒出了楊幻睿的成績——論文被NeurIPS 2020接收為最優等級的Oral 。

陳怡然教授微博截圖

NeurIPS是學術界和業界都廣為認可的人工智慧頂級會議，本次NeurIPS 2020接收到了破歷史紀錄的9454篇論文，而只有1900篇論文通過評審，其中包括280篇Spotlight以及105篇Oral，Oral等級論文比例僅為1.1%。

至於陳怡然教授所說的家裡的領導，就是其愛人李海教授，也即是楊幻睿的導師。兩人是杜克大學同一個實驗室的教授。

近日，AI科技評論通過陳怡然老師聯絡到了楊幻睿同學，並對他做了一次深度專訪。

在和楊幻睿同學的交流中，他不凡的求學經歷、樂觀的人生態度給我們留下了深刻的印象。

在詳細介紹楊幻睿同學不同尋常的故事之前，AI科技評論先對他這篇Oral論文進行介紹。

1 整合模型 |擇其善者而從之，其不善者而改之

這篇論文主要就是利用整合模型的思想，可以形容為“三人行，必有我師焉，擇其善者而從之，其不善者而改之” ——楊幻睿

論文標題：《DVERGE：通過“缺陷”多樣化構建魯棒整合模型》

論文連結：https://arxiv.org/abs/2009.14720

只看標題似乎不太清楚這篇論文講的是什麼？

別急，其實這篇論文所做的工作和對抗攻擊有關，那什麼是對抗攻擊呢？

對抗攻擊指的是對目標機器學習模型的原輸入施加輕微擾動以生成對抗樣本來欺騙目標模型的過程。對抗攻擊可以暴露機器學習模型的脆弱性，從而提高模型的魯棒性和可解釋性，它在影象領域已有廣泛的研究。

而有關對抗擊最為人所熟知的介紹就是下面的例子：

在下圖中，將微小的噪聲加到一張熊貓圖片後，原本可被影象分類模型正確識別的熊貓被識別為了長臂猿，儘管人類肉眼完全無法分辨加噪聲前後兩張圖片的區別。

熊貓圖片加噪聲後被影象分類模型識別為長臂猿

其實這是因為對於神經網路來說，輸入的圖片不過是一系列畫素點的數值排列，對這些畫素點的數值稍微增加一些噪聲，神經網路就會“大失分寸”。

而今年七月，一篇由美國東北大學和MIT等研究機構，共同提出的基於對抗樣本的T恤衫又火了一把。

穿上印有對抗樣本圖案的T恤，在被AI檢測時，無論衣服發生任何褶皺或變形，都能達到“隱身”效果！

更為關鍵的是，對抗性攻擊還具有很強的遷移性。

即使攻擊者不知道攻擊物件所用的模型細節，只要其利用在相同資料集上訓練的“代理模型”生成對抗攻擊樣本，作用在其他未知的模型上也同樣有很強的攻擊成功率。這種“遷移攻擊”是實際應用中最可能出現的攻擊形式。

難道人們就看著這種對抗攻擊而束手無策嗎？

當然不是，有對抗攻擊相應的就有對抗防禦(對抗訓練）。

對抗性訓練是一種通用的魯棒性提升演算法，通過迫使模型學習“魯棒”特徵來消除其缺陷。但這一學習過程是很困難的，即使是用更大規模的模型，也會對模型識別準確率帶來不可避免的顯著降低。

而楊幻睿的這篇論文則提出了另一種可行的魯棒性提升方案:

利用整合模型。

只要整合模型中的每一個子模型在面對同一對抗噪聲時給出不同的輸出，也就是對抗攻擊不能在子模型間遷移，即使每個子模型單獨並不魯棒，其平均得到的整合結果也有望在面對遷移攻擊時實現高魯棒性，且往往只會對模型帶來很小的識別準確率損失。

然而，前人提出的整合學習演算法並不能有效多樣化子模型面對攻擊時的輸出。

鑑於此楊幻睿及其論文合作者共同提出了“DVERGE”演算法：

通過提取集合模型的子模型學到的“非魯棒特徵”確定其缺陷所在，並進一步通過多樣化子模型的缺陷使其面對對抗性噪聲輸出不同的結果。

這是因為即使單個模型有缺陷，當我們有多個缺陷各不相同的模型時，其平均的輸出就有可能是魯棒的。因此通過整合學習提升魯棒性的關鍵，就在於促使子模型的缺陷多樣化。

這一過程可以形容為“三人行必有我師焉，擇其善者而從之，其不善者而改之。”

這一新穎的多樣性描述與優化方式使DVERGE得到了超出其他整合學習方法的遷移攻擊魯棒性。

之前的整合學習方法將這一成功率降低到了60%上下，而本文的方法將子模型間的遷移成功率降低到了5%上下，幾乎杜絕了對抗攻擊在子模型間遷移，保證了最終整合結果的魯棒性。

關於本論文的更多介紹請參看AI科技評論今日推文第四條。

2 北京八中 | 恰同學少年，風華正茂

北京八中，郭沫若題字

在八中少兒班的四年感覺是我最意想不到但又最至關重要的經歷，也是我14歲就能參加高考的原因。

——楊幻睿

1985年經北京市教育局批准,北京八中和中國科學院心理研究所、北京市教育科學研究所合作,創辦了北京八中超常教育實驗班（簡稱：少兒班），為北京地區智力超常兒童的健康發展提供了適合他們成長的教育環境。

少兒班的學制為四年左右（為適應課改，少兒班現已改成五年制），招收年齡十歲左右的智力超常兒童，經過四年的培養使他們完成初中（含六年級）和高中的全部課程，即普通學生七年的學業，畢業時成為德智體美全面發展的優秀高中畢業生。

最初幾屆少兒班的畢業生已經成長為所在行業的中堅力量，比少如學術界有尹希和王夢迪等，他們已經在頂級學府擔任終身教職，在各自的領域做出來了不小貢獻。

楊幻睿正是在這樣一個大神輩出的八中少兒班就讀：

我是從清華附小考入八中少兒班的，清華附小的教育方式特別快樂，也不搞奧數什麼的。

不過現在想起來附小的教育對我的各個學科，尤其是語文英語打下的基礎還是相當好的，另外當時附小的老師也很支援我在課外自行學奧數擴充套件思維，我也正是在學奧數的過程中瞭解到了八中少兒班的招生。

楊幻睿入學八中少兒班時，先經全市報名，之後進行初試和複試，選拔60個人進入為期一週的試讀夏令營，最終錄取29人。

楊幻睿於2009年參加八中少兒班複試後留影

AI科技評論問楊幻睿在四年的時間裡完成七年的學時是否輕鬆，他談到：

“這肯定不能說輕鬆，不過就我個人而言壓力也不是很大，而且全班都在按照同一個節奏學習，也不會有很快的感覺；雖然全班預設按理科學習，但是文科課程的初中和高一必修部分也都會學，我們只是壓縮了時間，初高中所有的知識都是學了的。”

八中是最早提倡素質教育的學校之一，少兒班的教學體系也很注重大家綜合素質的培養，會組織集體出遊，每週有一個下午的自然體育課，春夏秋會組織出去遠足爬山等，每年必去香山和八大處，冬天則組織游泳。學期中的假期也會集體組織到北京的遠郊或是其他省市進行3-5天的遊學。

在八中的經歷對楊幻睿來說是全方位的提升 ，知識、見識、學習方法、為人處事都是在八中這幾年培養出來的。

他在八中畢業時寫下：

在少兒班這四年間，每次旅行都給我不一樣的心靈震撼。

從百里峽到上方山，從五大連池到科羅拉多大峽谷，旅行向我們展示多彩的世界；從雲岡石窟到孔林孔廟，從大同煤礦到大慶油田，遊學為我們提供了社會實踐的機會。一次次的出行，不僅鍛鍊自理能力，更增強我們面對陌生世界的勇氣。

我在閱讀中思考，在思考中閱讀。

從《圍城》到《平凡的世界》，從《山居筆記》到《美的歷程》，從《唐詩百話》到《人間詞話》。從《讀者》到《新聞週刊》...... 手捧一卷卷書冊，我的心靈自愛閱讀中成熟。閱讀不僅解釋了自然科學的神祕，更展示了豐富的人生，激發我的思考。

14歲那年，少年楊幻睿以高考697分的成績考入了清華大學。

3 清華大學本科 | 小荷才露尖尖角

楊幻睿與清華二校門合影

其實我那年是697+50分加分，30分是清華自招，20分是北京市優秀學生幹部，因為我本身夠分數線了，所以社會加分就沒用了。

但自招的加分選專業還可以用，所以我理論上是可以去絕大多數的統招專業的。

——楊幻睿

進入電子系

楊幻睿的父親是清華老師，所以他在填報志願前對各專業都有一定的瞭解。當時正值電子系從2007年開始的本科課程改革趨於穩定的時候。作為清華最大的系之一，電子系的課改梳理出了貫穿兩個一級學科的知識體系，並在此基礎上構建起新以10門核心課為主體的課程體系。

電子系課改“寬口徑重基礎”的培養方式與八中一直強調的“志向高遠，素質全面，基礎紮實，特長明顯”的育人目標十分契合，再加之電子系研究的電子電路、通訊網路、訊號處理、資訊光電子等領域都走在時代發展的前沿，因此，楊幻睿最終選擇了電子系作為第一志願。

談及在電子系學習帶來的最大收穫，楊幻睿說：“一是紮實的線性代數、訊號處理等數理基礎和程式設計、電路設計等工程能力，這讓我在後續上手新知識時始終有似曾相識、有據可依的感覺。二則是龐大的校友網路，即使上下差很多屆，一提到電子系，大家也很容易產生共鳴。”

人工智慧入門

大二的時候，楊幻睿才開始真正接觸人工智慧。當時有一篇文章在網上有很多討論，這篇文章解釋了VGG每一層學到的特徵。他看到簡單堆砌的網路結構可以自發地從資料中學到多樣的有一定實際意義的特徵，感覺很神奇，之後就開始陸續關注CNN相關的一些應用。

VGG特徵視覺化

至於說系統入門，他則是看了吳恩達的coursera課程系統瞭解機器學習的基本概念，隨即又看了Hinton的coursera課程瞭解深度學習的概念。

交換&暑研| 學術生涯早期的“混亂”嘗試

大三時，楊幻睿去加拿大的阿爾伯塔大學交換了一個學期，當時主要是上原有專業的課，沒有很多和AI相關的內容，不過最早有關強化學習的概念是他在阿爾伯塔大學接觸到的。

大三結束的暑假，楊幻睿去了佐治亞理工大學Le Song老師組裡做暑研。當時復現了Deepmind DQN玩Atari game的演算法，雖然最後沒發出論文來，但他表示這是第一次正經做AI相關的科研和實驗，學會了很多的coding技能和閱讀論文的方法。

之後，因為Deepmind的緣故他又關注過一陣兒強化學習，不過後來感覺興趣不是很大，於是又關注回深度學習上面來了。

畢業設計

楊幻睿的本科畢業設計偏硬體，和模型壓縮有關，畢設題目是《支援片上訓練的全連線神經網路計算架構》，畢設導師是劉勇攀教授。

他這篇畢業論文設計了一個加速器的運算架構，在支援高效執行稀疏量化的網路同時，同時支援對權值進行訓練。

畢設背景是韓鬆在ICLR 2016的最佳論文：

韓鬆論文截圖

韓松本科就讀於清華大學電子工程系，博士就讀於斯坦福大學，師從NVIDIA 首席科學家 Bill Dally 教授，博士期間曾建立深鑑科技，現為MIT 助理教授。

韓鬆前輩是我的學習偶像，他當年也是在電子系，算是我的直系學長，他12年就從清華畢業了，而我是13年入學，很遺憾，我和他並未在清華見過。

當時之所以想到要做片上訓練，是因為楊幻睿注意到：“在很多物聯網的場景下，部署之後的網路可能需要根據輸入資料進行微調，而這些微調往往就是在最後的全連線層中進行的，所以設計一個支援訓練的全連線層加速器很有意義。

最後，楊幻睿的畢業論文被評為清華大學優秀畢業論文

其設計的全連線加速器架構也成為課題組設計的STICKER神經網路處理器的一部分，完成了流片與測試，最終發表在2018年VLSI Symposium 上。

畢業論文完成，楊幻睿從清華順利畢業了~

楊幻睿畢業季與日晷留影

4 杜克大學博士 | 直掛雲帆濟滄海

楊幻睿與杜克工學院老系館合影

在畢業設計的導師劉勇攀教授的介紹下，我才能認識現在的博士導師陳怡然教授和李海教授，真的非常感謝劉導。

——楊幻睿

巧合的是，陳怡然和李海教授兩人當年也是在清華電子系同屆就讀，隨後他們二人一起到的普渡大學就讀博士，更巧的是，他們二人是98年畢業於清華，楊幻睿則是在98年那個畢業季出生。

由於畢業設計和模型壓縮相關，偏硬體，而陳老師實驗室做的正是軟硬體結合的方向，楊幻睿覺得很有前景，於是在2017年兩位老師搬來杜克時一起跟著過來了，成為這個組在杜克的第一屆學生。

杜克大學校園環境十分優美，周邊自然環境和治安都很不錯，身為北方人的楊幻睿表示他挺喜歡東海岸杜克的宜人氣候。

杜克禮拜堂（杜克大學李石宇供圖）

秋天的杜克（杜克大學李石宇供圖）

杜克大學的整體學術氛圍比較自由，硬體設施也很不錯，楊幻睿談道：“組裡面陳老師和李老師對我們的管理比較自由，科研的選題之類的只要我們設想的有道理有一個比較明確的計劃老師一般都是支援的。”

CEI“進化智慧”研究中心2018年合照，楊幻睿在二排最左，李教授和陳教授在前排正中(CEI實驗室主頁：http://cei.pratt.duke.edu/ )

李老師和陳老師平常出去開會或者social期間會找一些新的專案或者想法，回來再安排給經驗相似或者暫時沒有專案做的同學來研究。

就在今年年初的時候，陳怡然老師還邀請到沈向洋老師來杜克做講座：

講座之後，大家與沈向洋老師合照留念：

而學術之外，在杜克的生活當然也有輕鬆愉快的一面。當時為歡迎新同學的到來，楊幻睿所在組簡單聚餐：

楊幻睿博士剛開始時的工作和硬體關係更大一些，參與了兩個深度學習加速器架構的工作。與此同時，也逐漸瞭解了組裡關於深度學習模型壓縮與神經網路魯棒性方面的前期工作。

微軟實習

18年的暑假，楊幻睿曾在微軟研究院Redmond總部實習了三個月，工作主要圍繞通過資料增廣提高模型魯棒性展開，同時也做了一些關於利用矩陣分解進行神經網路壓縮的研究。

當時科研剛剛起步，他對這個領域的整體還不完全熟悉，因而最終只完成了一篇發表在AAAI workshop上的小文章。不過這是他第一篇以一作撰寫、修改和投稿的文章，對後續的科研積累了很多寶貴經驗。

另外，微軟整體寬鬆的科研氛圍和基礎研究與工程實現相輔相成的組織結構也給他留下了深刻的印象。

科研初遇挫折

在博士階段的前一年半左右的時間，楊幻睿的科研之路並不算順利。

他回憶說：

“當時我可能處於一個對未來比較迷茫的階段。來到杜克後，從組裡的學長、其他組的同學、學校豐富的課程與講座以及自己閱讀的論文中，一下子接受了太多的新思想、新方法，卻沒有來得及對自己的研究領域構建起比較完整的瞭解與梳理。

這導致我的科研方向一度飄忽不定。這一段時間我的很多工作都在試圖把自己一些不太成熟的“奇思妙想”，或者可能自己還一知半解的新理論新方法套入到我要解決的問題上，同時對實驗的設計和預期又不夠充分，這讓我的科研走了很多彎路。

我先後嘗試投稿了ECCV 2018、NIPS 2018、AAAI 2019等會議，但文章或因為創新點不足或因為實驗設計有缺陷都沒能命中。同時也有一些一開始躊躇滿志但進行到一半發現做不下去的專案。”

科研漸入佳境

這種狀態從博士二年級的下學期開始有了改觀。這時，楊幻睿學習了資訊理論與壓縮感知的課程，在補齊了自己基礎理論知識的同時，也發現很多傳統理論可以應用到他正在進行的深度學習研究，這最終促成了他的兩篇文章的中稿。

其一是對“DeepHoyer”的研究。楊幻睿注意到，壓縮感知中的Hoyer正則項在傳統問題上取得了很好的效能，卻在神經網路壓縮的研究中始終被忽視。這後來促使他完成了“DeepHoyer”的研究，投稿NeurIPS 2019。

雖然文章第一次投稿並沒有命中（最終得分7 6 5 5），但評審偏向正面的評價給了楊幻睿很大的信心。

暑假期間，他留在學校進一步完善實驗，同時利用幫李老師準備新學期“工程深度學習”課程的契機，從傳統方法出發進一步梳理模型壓縮與壓縮感知理論之間的聯絡與發展脈絡，終於將文章修改完成，中稿ICLR 2020。

這之後，他在資訊理論的學習中瞭解到了一套用互資訊量描述隱私保護的理論框架。當時組裡的李昂同學剛好在研究分散式學習的隱私保護問題，他們經過交流將這一框架進行了深度學習背景下的實現，最終完成了一篇KDD 2020的論文，還有幸被評為最佳學生論文（李昂為一作）。

在魯棒性領域，通過系統性的論文閱讀和課程講義的整理，楊幻睿逐漸掌握了常見的研究思路和大家認可的實驗評價方法 。再加上與之前模型訓練、目標函式設計與優化等的知識與經驗相結合，促成了他這次的工作被NeurIPS 2020接收為 Oral。

另外，楊幻睿在ICLR 2021也有一篇關於模型壓縮的投稿，AI科技評論在此也祝楊幻睿同學中稿。

5 回首與展望 | 博觀約取，厚積薄發

從小，他父親就經常和他一起讀書，曾用曹丕《典論 · 論文》中的話教導他：

“蓋文章，經國之大業，不朽之盛事。年壽有時而盡，榮樂止乎其身，二者必至之常期，未若文章之無窮”

。

這培養了他後來對科研工作的堅定志向和篤志決心。

潛移默化&在教中學

關於自己的學習祕訣，楊幻睿總結了兩點分享給大家：

第一，在潛移默化中學習，上課聽到的知識、讀的論文、聽的講座、和同學日常的討論，都能很快地總結出幾個關鍵詞記住，之後再遇到可能的應用場景時快速地回去學習一下細節。

第二，給別人講，如果能給別人講明白，說明自己也明白了。我不喜歡刷題，但喜歡給別人講題，在當年高三大複習的時候，我經常答疑時間去老師辦公室，給暫時排在隊尾的同學一對一答疑。每位同學對知識的掌握程度不一樣，講題之前要先解對方知道什麼並在此基礎上幫對方構建好知識體系，把對方知道的點和新的知識建立起聯絡，逐漸引到要講的問題上。

當助教全靠學的比學生快

楊幻睿在博士二年級的兩個學期給系裡的兩門研究生基礎課做助教，分別是計算機系統基礎和模式識別。

這些基礎課的大部分相關知識是楊幻睿在清華期間學習的，時間過去久了，很多概念的具體細節記不清，但好在他對知識點之間的聯絡還有印象，有人問起來他就快速地看課件複習一下。“沒辦法，當助教全靠學的比學生快。”他說。

在博士第三年的秋季和當前這個學期，楊幻睿幫李老師開了一門新課，作為助教，他談起自己的心得：“在準備課件的時候要假設大家是零基礎，要從最基本的東西開始，一步步為大家建立起對深度學習技術來源與發展的理解，講清楚為何會有這個技術 ，在這個過程中也是對自己知識的一個梳理。”

助教課講的前三講，從零開始引出CNN

李老師和楊幻睿正在籌劃寒假期間把這門課整理上線Coursera，陳老師和其他幾個助教也會參與其中。

世事洞明皆學問 人情練達即文章

楊幻睿科研只做了三四年，但他對教學工作頗有心得，他表示這都是從他父親那裡耳濡目染學習到的。

他父親是一名清華老師，從小對他的教育就不是說教，而是在日常生活中不斷激發他對各種新鮮事物的興趣，比如說帶去圖書館、博物館或者科技館。

他印象比較深的是從小學開始他父親每年都會帶他去一次中國科技館，他在裡面瞎玩，而他父親則時不時給他講一講各種東西的原理。

而等到他學完大學物理之後就再也沒去過科技館了，因為學不到新知識了。

除了讀書之外，楊幻睿還很喜歡 F1、NBA、冰球等各種體育比賽，也喜歡開車在大山裡閒逛，時不時以景詠懷，即興賦詩。

冰球比賽現場照片

未來展望

在未來，隨著5G、物聯網、大健康、智慧城市等等概念的深入探索與落地應用，基於深度學習的方法將在越來越多的應用場景中提供服務，這也從各種方面對模型提出了更高的要求。

除模型的執行效率與魯棒性之外，楊幻睿也會更多關注有關於隱私、可遷移性、可解釋性等對實際應用有重大意義的基礎方法研究，並將其與新出現的智慧醫療，智慧家居等應用場景相結合，為闊步邁入嶄新的智慧化時代掃清障礙。

楊幻睿的偶像，除了之前提到的韓鬆學長，還有愷明大神，他對其十分敬佩，ResNet是他最喜歡的網路，愷明大神提出的很多東西都給他一種“四兩撥千金”的感覺：理論簡潔、效果強大、直達本質。

“感覺自己的學術生涯還剛剛起步，發的論文也還不多，我會繼續努力，漫漫其修遠兮，吾將上下而求索。"

當下22歲的楊幻睿對未來的學術之路充滿了探索的決心和信心，顯示了一位正當風華正茂之年歲的學術青年的昂揚姿態。

採訪結束第二天，AI科技評論又一次聯絡到楊幻睿同學：

還有最後一個問題，您想起來當年高考每科目的具體分數了嗎？

“哦這個問題啊，沒太記起來，但是昨天採訪結束我問了我爸，他說是：語文125、數學143、英語138、理綜291。”

文末附上楊幻睿在北京八中畢業時撰寫的一篇短文：